ComfyUI 相关博客目录：

AI绘图神器：ComfyUI零基础入门指南（一）

ComfyUI踩坑记录，一些帮助你少走弯路的小技巧

ComfyUI 中使用 LoRA 模型全攻略

AI绘图，是如何从算力到画面的

在 AI 绘画领域，ComfyUI 是一款备受欢迎的工具，而 LoRA 模型的加入更是为创作带来了更多可能。本文将详细介绍如何在 ComfyUI 中使用 LoRA 模型，包括 LoRA 模型的原理、安装方法以及工作流的搭建。

LoRA模型的原理

如果你是AI绘图的忠实用户，或许你早已耳闻 LoRA。它堪称是AI绘图神器之一。

LoRA，即 Low-Rank Adaptation of Large Language Models，最初是为了高效微调大型语言模型而提出的，后来广泛应用于 AI 绘画模型中。它的核心原理是通过引入可训练的低秩矩阵，对预训练模型的特定层进行微调。

在传统的模型微调中，需要对整个模型的参数进行更新，这不仅计算成本高，而且容易导致过拟合。LoRA 模型则是在模型的某些层后添加两个可训练的低秩矩阵（一个降维矩阵和一个升维矩阵），只对这两个低秩矩阵进行训练，这样一来，就大大减少了需要训练的参数数量，提升了训练效率。这样，在不改变原始模型权重的情况下，能够快速适应新的任务或数据集，同时保持了模型的泛化能力。例如，在绘画模型中，LoRA 可以针对特定的风格、主题等进行微调，让模型生成符合特定要求的图像。就好像我们想要一幅画像，画像中有一个微笑的女人，那么，不同的画风会带来极大的差异，有可能是蒙娜丽莎，也有可能是幼稚园插画。通常我们会在 prompt 中描述我们想要的艺术风格，但这样做的效果很难让人满意，而 LoRA 则可以帮助我们实现对风格的精准把控。

总结就是，LoRA能够让我们灵活地指定个性风格，同时因为其模型小、参数少，训练快，效率高，应用起来也十分方便。

LoRA模型的安装

LoRA 模型既然那么好用，我们应该去哪里下载呢？大多数AI绘图的社区都有提供 LoRA 模型下载，例如C站（civitai: https://civitai.com）、L站（liblib: https://www.liblib.art/）等。

以C站为例，进入到 Model 页面后，点击右侧的Filters，可以展开更详细的过滤项，模型类型选择 LoRA。要注意的是，LoRA的模型需要和导入的 Stable Diffusion 模型版本匹配，否则工作流无法成功执行。我在这边选择的是 SD1.5版本。

选择你喜欢的模型，下载到 *ComfyUI\models\loras* 路径下，重启 ComfyUI 加载界面即可使用。LoRA 的文件格式通常为.safetensors 或.pt。为了便于管理版本，你可以对文件重命名，加上对应的SD版本。如果在 models 文件夹下没有找到 loras 文件夹，直接自己新建一个就可以。

在工作流中引入LoRA

假设你现在已经下载好了 LoRA 模型，那我们该如何改造工作流，让它生效呢？很简单，以最基础的文生图工作流为例，下图是一个基础的文生图工作流。接下来，我们将对它进行一点小小的改造。

首先，我们双击空白处，添加一个 Load LoRA 节点。如果你找不到这个节点，可以升级 ComfyUI 的版本，或者安装对应的插件。

可以看到，LoRA 节点的左侧输入是 model 和 clip，右侧输出也是 model 和 clip。它就像一个画风滤镜，对我们输入的模型进行了风格化过滤。

因此，我们直接把 Checkpoint 节点右侧的 model 和 clip 输入到 LoRA 节点中即可。然后，我们将原本直接输出到 prompt节点和 KSampler 节点的 model、clip 替换成从 LoRA 节点输出的内容，就得到了一个引入了 LoRA 模型的工作流。点击执行，可以看到，同样的prompt，但是我们得到了一个画风相当不同的图像。

怎么样？是不是非常简单易用且高效呢？细心的朋友或许还注意到，前文 LoRA节点的注释中，还提到多个 LoRA 节点可以连接在一起，其实就是将前一个 LoRA 节点的输出，输入到下一个 LoRA 节点中，就像流水线一样，实现更加精细的画面控制。

以上就是《ComfyUI 中使用 LoRA 模型全攻略》的所有内容啦，感谢你的阅读。或许你还听说过，一个与 LoRA 功能相近的AI绘图神器，叫做 IP-Adapter，又被称为 “一图 LoRA”。那么，它的原理和功能是什么，又该如何使用呢？且听下回分解。

赏

谢谢你请我吃糖果

支付宝

微信