跳转到主要内容
风格迁移(Style Transfer)可以将一张图片的视觉风格应用到另一张图片的内容上。你不需要在提示词中手动描述风格,只需提供一张参考图片,ComfyUI 就能提取并应用该风格到你的生成结果中。 常见使用场景包括:
  • 将某位艺术家的风格应用到你自己的构图中
  • 将照片转换为油画、素描或插画风格
  • 在多张图片之间保持一致的视觉风格
  • 将一张图片的构图与另一张图片的美学风格结合
本指南涵盖 ComfyUI 中三种风格迁移方法,从基础到进阶:
  1. 图生图风格迁移 — 使用提示词和去噪参数的最简单方法
  2. IP-Adapter 风格迁移 — 使用参考图片引导风格,不改变构图
  3. ControlNet + IP-Adapter — 结合结构控制与风格引导

方法一:图生图风格迁移

最简单的风格迁移方式是通过图生图工作流配合风格描述提示词。

工作原理

该方法将参考图片编码到潜空间,然后使用风格描述提示词进行去噪。KSampler 中的 denoise 值控制输出与原图的偏离程度。

适用场景

  • 快速风格实验
  • 需要同时改变风格和内容时
  • 不需要精确控制哪些元素发生变化时

关键参数

参数推荐范围效果
denoise0.4–0.7较低值保留更多原始图像;较高值允许更多风格自由度
提示词风格描述描述目标风格(如 “oil painting style, impressionist, thick brushstrokes”)
建议从 denoise 值 0.55 开始调整。低于 0.3 的值可能无法充分改变风格,而高于 0.8 的值可能会完全丢失原始构图。
更多详情请参阅图生图教程

方法二:IP-Adapter 风格迁移

IP-Adapter(Image Prompt Adapter)是 ComfyUI 中最流行的风格迁移方法。它允许你将参考图片作为视觉提示,引导生成风格,而不仅仅依赖文字描述。

模型安装

IP-Adapter 风格迁移需要两个模型:
  1. CLIP Vision 模型 — 下载 CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors 并放入 ComfyUI/models/clip_vision 文件夹
  2. IP-Adapter 模型 — 下载 ip-adapter_sd15.safetensors 并放入 ComfyUI/models/ipadapter 文件夹
  3. 基础模型 — 下载 v1-5-pruned-emaonly-fp16.safetensors 并放入 ComfyUI/models/checkpoints 文件夹
对于基于 SDXL 的工作流,请使用对应的 SDXL IP-Adapter 模型。完整模型列表请查看 h94/IP-Adapter 仓库。

工作流概述

IP-Adapter 风格迁移工作流使用以下关键节点:
  1. Load Checkpoint — 加载基础模型
  2. Load Image — 加载风格参考图片
  3. CLIP Vision Encode — 将参考图片编码为视觉嵌入
  4. IPAdapter Apply — 应用风格嵌入来引导生成
  5. KSampler — 生成最终图像

关键参数

参数推荐范围效果
weight0.5–1.0控制参考风格对输出的影响强度
noise0.0–0.5增加变化;较高值产生更多样的结果
对于纯风格迁移(保持自己的构图),建议使用 0.6–0.8 左右的 weight 值。更高的值可能会开始从参考图片中迁移内容元素。

风格与构图控制

IP-Adapter 默认同时迁移风格和内容。如果主要关注风格:
  • 使用较低的 weight 值(0.5–0.7)
  • 编写详细的提示词描述你想要的构图
  • 提示词引导构图,而 IP-Adapter 引导风格

方法三:ControlNet + IP-Adapter

要实现最大程度的控制,可以将 ControlNet(用于结构)与 IP-Adapter(用于风格)结合使用。这样你可以精确定义构图,同时应用参考风格。

工作原理

  • ControlNet 从输入图片中提取结构信息(边缘、深度、姿态),并在生成过程中强制执行该结构
  • IP-Adapter 从另一张参考图片提供风格引导
  • 两者结合,你可以说:“生成一张具有 这个 结构、那个 风格的图像”

额外需要的模型

除了上面的 IP-Adapter 模型外,还需要一个 ControlNet 模型。例如:

工作流概述

此工作流在 IP-Adapter 工作流基础上增加了 ControlNet:
  1. Load Image(内容图) — 你想保留其结构的图片
  2. Canny 边缘检测 — 从内容图中提取边缘
  3. ControlNet Apply — 强制执行结构引导
  4. Load Image(风格图) — 你想应用其风格的参考图片
  5. CLIP Vision Encode + IPAdapter Apply — 应用参考图的风格
  6. KSampler — 生成结合两种控制的最终图像

推荐设置

参数推荐值说明
ControlNet strength0.7–1.0较高值更严格地强制执行结构
IP-Adapter weight0.6–0.8在原始风格和参考风格之间取得平衡
KSampler denoise1.0完全去噪,因为 ControlNet 提供了结构

获得更好效果的技巧

  • 选择风格鲜明的参考图 — 具有明显、一致风格的图片效果最好。避免使用风格混杂或不明显的参考图。
  • 匹配模型 — SD 1.5 模型适用于一般风格迁移。SDXL 模型可产生更高质量的结果,但需要 SDXL 专用的 IP-Adapter 模型。
  • 反复调整权重 — IP-Adapter weight 的微小变化(0.05 的增量)可以显著影响结果。花时间找到最佳值。
  • 结合 LoRA 使用 — 如果需要在多张图片间保持一致风格,可以考虑在目标风格上训练一个 LoRA,并与 IP-Adapter 结合使用以获得更强的风格一致性。
  • 使用负面提示词 — 描述你不想要的内容(如 “blurry, low quality, distorted”)以提高输出质量。

自己动手试试

  1. 从方法一(图生图)开始,了解去噪参数如何影响风格迁移
  2. 进阶到方法二(IP-Adapter),使用参考图片实现更精确的风格控制
  3. 当需要同时保证结构准确性和风格迁移时,结合使用 ControlNet 和 IP-Adapter(方法三)
更多关于 ComfyUI 风格迁移技术的背景知识,请参阅 Comfy 博客上的完整风格迁移手册