风格迁移(Style Transfer)可以将一张图片的视觉风格应用到另一张图片的内容上。你不需要在提示词中手动描述风格,只需提供一张参考图片,ComfyUI 就能提取并应用该风格到你的生成结果中。
常见使用场景包括:
- 将某位艺术家的风格应用到你自己的构图中
- 将照片转换为油画、素描或插画风格
- 在多张图片之间保持一致的视觉风格
- 将一张图片的构图与另一张图片的美学风格结合
本指南涵盖 ComfyUI 中三种风格迁移方法,从基础到进阶:
- 图生图风格迁移 — 使用提示词和去噪参数的最简单方法
- IP-Adapter 风格迁移 — 使用参考图片引导风格,不改变构图
- ControlNet + IP-Adapter — 结合结构控制与风格引导
方法一:图生图风格迁移
最简单的风格迁移方式是通过图生图工作流配合风格描述提示词。
工作原理
该方法将参考图片编码到潜空间,然后使用风格描述提示词进行去噪。KSampler 中的 denoise 值控制输出与原图的偏离程度。
适用场景
- 快速风格实验
- 需要同时改变风格和内容时
- 不需要精确控制哪些元素发生变化时
关键参数
| 参数 | 推荐范围 | 效果 |
|---|
denoise | 0.4–0.7 | 较低值保留更多原始图像;较高值允许更多风格自由度 |
| 提示词 | 风格描述 | 描述目标风格(如 “oil painting style, impressionist, thick brushstrokes”) |
建议从 denoise 值 0.55 开始调整。低于 0.3 的值可能无法充分改变风格,而高于 0.8 的值可能会完全丢失原始构图。
更多详情请参阅图生图教程。
方法二:IP-Adapter 风格迁移
IP-Adapter(Image Prompt Adapter)是 ComfyUI 中最流行的风格迁移方法。它允许你将参考图片作为视觉提示,引导生成风格,而不仅仅依赖文字描述。
模型安装
IP-Adapter 风格迁移需要两个模型:
-
CLIP Vision 模型 — 下载 CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors 并放入
ComfyUI/models/clip_vision 文件夹
-
IP-Adapter 模型 — 下载 ip-adapter_sd15.safetensors 并放入
ComfyUI/models/ipadapter 文件夹
-
基础模型 — 下载 v1-5-pruned-emaonly-fp16.safetensors 并放入
ComfyUI/models/checkpoints 文件夹
工作流概述
IP-Adapter 风格迁移工作流使用以下关键节点:
- Load Checkpoint — 加载基础模型
- Load Image — 加载风格参考图片
- CLIP Vision Encode — 将参考图片编码为视觉嵌入
- IPAdapter Apply — 应用风格嵌入来引导生成
- KSampler — 生成最终图像
关键参数
| 参数 | 推荐范围 | 效果 |
|---|
weight | 0.5–1.0 | 控制参考风格对输出的影响强度 |
noise | 0.0–0.5 | 增加变化;较高值产生更多样的结果 |
对于纯风格迁移(保持自己的构图),建议使用 0.6–0.8 左右的 weight 值。更高的值可能会开始从参考图片中迁移内容元素。
风格与构图控制
IP-Adapter 默认同时迁移风格和内容。如果主要关注风格:
- 使用较低的
weight 值(0.5–0.7)
- 编写详细的提示词描述你想要的构图
- 提示词引导构图,而 IP-Adapter 引导风格
方法三:ControlNet + IP-Adapter
要实现最大程度的控制,可以将 ControlNet(用于结构)与 IP-Adapter(用于风格)结合使用。这样你可以精确定义构图,同时应用参考风格。
工作原理
- ControlNet 从输入图片中提取结构信息(边缘、深度、姿态),并在生成过程中强制执行该结构
- IP-Adapter 从另一张参考图片提供风格引导
- 两者结合,你可以说:“生成一张具有 这个 结构、那个 风格的图像”
额外需要的模型
除了上面的 IP-Adapter 模型外,还需要一个 ControlNet 模型。例如:
工作流概述
此工作流在 IP-Adapter 工作流基础上增加了 ControlNet:
- Load Image(内容图) — 你想保留其结构的图片
- Canny 边缘检测 — 从内容图中提取边缘
- ControlNet Apply — 强制执行结构引导
- Load Image(风格图) — 你想应用其风格的参考图片
- CLIP Vision Encode + IPAdapter Apply — 应用参考图的风格
- KSampler — 生成结合两种控制的最终图像
推荐设置
| 参数 | 推荐值 | 说明 |
|---|
ControlNet strength | 0.7–1.0 | 较高值更严格地强制执行结构 |
IP-Adapter weight | 0.6–0.8 | 在原始风格和参考风格之间取得平衡 |
KSampler denoise | 1.0 | 完全去噪,因为 ControlNet 提供了结构 |
获得更好效果的技巧
- 选择风格鲜明的参考图 — 具有明显、一致风格的图片效果最好。避免使用风格混杂或不明显的参考图。
- 匹配模型 — SD 1.5 模型适用于一般风格迁移。SDXL 模型可产生更高质量的结果,但需要 SDXL 专用的 IP-Adapter 模型。
- 反复调整权重 — IP-Adapter weight 的微小变化(0.05 的增量)可以显著影响结果。花时间找到最佳值。
- 结合 LoRA 使用 — 如果需要在多张图片间保持一致风格,可以考虑在目标风格上训练一个 LoRA,并与 IP-Adapter 结合使用以获得更强的风格一致性。
- 使用负面提示词 — 描述你不想要的内容(如 “blurry, low quality, distorted”)以提高输出质量。
自己动手试试
- 从方法一(图生图)开始,了解去噪参数如何影响风格迁移
- 进阶到方法二(IP-Adapter),使用参考图片实现更精确的风格控制
- 当需要同时保证结构准确性和风格迁移时,结合使用 ControlNet 和 IP-Adapter(方法三)
更多关于 ComfyUI 风格迁移技术的背景知识,请参阅 Comfy 博客上的完整风格迁移手册。