阅读说明
使用 ChatGPT、Gemini、豆包等工具,通过文字需求、参考图和连续反馈生成或修改图片,属于技术层级较低,比较方便的图像创作。不属于本章范畴。
Midjourney 的权威教程
Midjourney 官方文档包含图文步骤和短视频,可以覆盖从第一次生成到参考图控制、局部修改的主要操作。
| 官方资料 | 主要内容 |
|---|---|
| 入门指南 | 网页端生成、设置、图片整理,以及后续编辑入口 |
| 提示词基础 | 怎样描述主体、媒介、环境、光线、颜色和构图 |
| 图片提示 Image Prompts | 用图片影响内容、构图、颜色等视觉特征 |
| 风格参考 Style Reference | 借用参考图的色彩、材质、媒介和光线风格 |
| 编辑模型 Edit Model | 文字指令编辑、多参考图、局部修改与扩图 |
| 修改生成结果 | 变体、放大、Remix、平移和扩展画面等操作 |
使用这些资料时,要同时查看版本与功能兼容表。例如,当前官方文档中 V8 系列的参考图编辑与旧版 Character Reference、Omni Reference 的入口和兼容关系已有区别,照着旧教程操作可能找不到相同功能。
Stable Diffusion 的权威教程与资料
Stable Diffusion(SD)是图像生成模型家族,SDXL、SD 3.5 是其中的不同模型系列。实际创作时,需要通过操作软件或代码加载相应模型。阅读下面的资料前,先分清几种名称:
| 名称 | 是什么 | 实际用途 |
|---|---|---|
| 模型卡 Model Card | 模型发布页面上的说明文档 | 查看发布者、用途、模型文件、使用方法、配套要求、限制与许可;主要用于核对模型信息 |
| ComfyUI | 运行模型并组织生成步骤的操作软件 | 把加载模型、输入要求、生成、修改和保存等步骤表示为节点,用连线组成工作流;可以使用 SD 及其他模型 |
| WebUI | 通过网页界面操作模型的软件;这里指 AUTOMATIC1111 Stable Diffusion WebUI | 通过文生图、图生图等面板中的输入框、滑块和按钮设置并执行任务 |
| Diffusers | Hugging Face 维护的编程工具库 | 通过 Python 代码加载模型、生成或编辑图片;其文档也可用于查阅参数解释和输出对比 |
可以这样理解它们的关系:通过 ComfyUI 或 WebUI 操作模型,通过模型卡了解模型;需要用代码运行时,可以使用 Diffusers。 安装操作软件后,还需要准备相应的模型文件与配套组件。初学者可以先跟着界面工具的教程操作,再按需要查模型卡和参数说明,无需先学习 Python。
| 资料 | 提供者与用途 |
|---|---|
| SDXL 官方模型卡、SD 3.5 Large 官方模型卡 | Stability AI 提供。确认模型文件、使用方式、配套组件及限制 |
| ComfyUI 官方中文文生图教程 | 从加载模型、输入要求到运行和保存,适合动手入门;其中基础示例使用 SD 1.5 |
| ComfyUI 维护者示例库 | 包含图生图、局部重绘、LoRA、ControlNet、放大、SDXL 等完整工作流;示例图片可载入 ComfyUI 查看流程 |
| AUTOMATIC1111 项目功能文档 | 该 WebUI 自身的操作依据,覆盖局部重绘、参数对比、批处理、图片信息等;具体功能需结合所用版本 |
| Hugging Face Diffusers 实操文档 | 偏代码,但参数解释和对比图很有价值,适合核对某个控制项到底有什么作用 |
其中,ComfyUI 官方中文教程和示例库最适合直接跟着做;Diffusers 更适合查清技术用法。
下面从创作实际出发介绍这些技术。
1. 文生图:把视觉要求变成可比较的候选图
需要表达的主要内容包括:
- 主体:画什么,有几个,具有什么外形。
- 动作与关系:谁在做什么,对象之间怎样安排。
- 构图:远景或近景、主体位置、观察角度、留白。
- 表现形式:摄影、水彩、线描、三维渲染等。
- 光线与颜色:光源方向、明暗、冷暖和主要配色。
- 画幅:横版、竖版,以及最终使用位置。
例如,下面这段是可以用于练习的需求描述:
一只橙色狐狸坐在雨后的森林小路上,侧面全身,主体位于画面右侧,左侧保留标题空间,水彩插画,低饱和绿色背景,柔和晨光,横版。
实际操作中,可以先比较主体和构图,再调整风格和细节。Midjourney 官方提示词指南也强调清楚表达关键特征,避免堆砌冗长要求。提示词基础
2. 参考图:明确让模型参考什么
参考图片有几种不同用途,操作时需要分清:
| 参考目的 | 例子 | 对应操作 |
|---|---|---|
| 内容与构图 | 参考房间布局、物体排列 | 图片提示、结构控制 |
| 风格 | 借用水彩质感、配色、光线 | Midjourney Style Reference、适配的参考图方法 |
| 主体 | 在新场景中保持人物或产品特征 | Midjourney 编辑参考、IP-Adapter 等 |
| 修改已有图片 | 保留大体画面,改变服装或环境 | 图生图、图像编辑 |
风格相似与人物相同是不同目标。 Midjourney 明确说明 Style Reference 主要传递整体视觉风格,不负责复制参考图中的人物或物体。SD 生态中的 IP-Adapter 则提供以图片配合文字引导生成的方式,并能调整参考图的影响强度。Style Reference、IP-Adapter 操作指南
3. 图生图:在已有画面上控制变化程度
图生图适合把草图进一步完成、改变表现形式,或在已有图片基础上生成变体。
一个重要操作是调整 重绘强度,不同工具中可能叫 strength 或 denoise:
- 较低时,通常保留更多原图结构。
- 较高时,通常允许更大变化。
- 变化过小,目标修改可能没有发生;变化过大,满意的部分也可能被改掉。
可以固定其他设置,只比较不同强度下的结果,观察“保留原图”和“完成修改”的取舍。Diffusers 图生图指南
4. 局部重绘与扩图:限定修改发生的位置
局部重绘先用蒙版指定区域,再描述该区域应该出现什么。例如,替换一顶帽子、清理背景杂物、修改某个物体。
实操重点包括:
- 蒙版范围是否覆盖了完整对象和需要衔接的边缘。
- 是否给模型保留了足够的周围环境作为参考。
- 新内容的透视、光线、颜色是否与周围一致。
- 修改后有没有影响原本需要保留的部分。
扩图则用于在原画面外补充内容,例如把方形插画扩成横版封面。局部重绘指南、Midjourney 编辑说明
5. ControlNet:用姿态、线条和深度控制画面结构
当要求涉及明确的位置、动作和空间关系时,可以把这些条件直接作为控制图提供。
| 控制条件 | 实际用途 |
|---|---|
| 边缘、线稿 | 保留建筑轮廓、物体边界或草图结构 |
| 人体姿态 | 指定站姿、坐姿、手臂和身体的大体动作 |
| 深度 | 指定远近、空间层次与物体的大体体积关系 |
常见流程是:准备参考图 → 提取所需控制图 → 检查控制图 → 加载匹配的控制模型 → 调整控制强度 → 生成并比较。
控制图本身值得先检查:姿态识别错误,后续生成就可能受到错误约束。ComfyUI 的示例也明确说明,普通照片需要通过相应预处理转换成控制模型要求的输入格式。ComfyUI ControlNet 示例、Diffusers ControlNet 指南
6. LoRA:为特定风格、人物或概念增加定制能力
使用现成 LoRA 时,主要需要确认:
- 与哪个基础模型配套。
- 是否需要特定触发词。
- 推荐怎样设置影响强度。
- 加载后,对主体、风格和其他画面内容分别产生了什么影响。
可以先比较“未加载”和“加载一个 LoRA”的结果,再调整强度。训练自己的 LoRA 是进一步的定制工作,需要准备合适的训练图片和描述,并检查它在不同场景中的表现。Diffusers LoRA 使用说明、ComfyUI LoRA 示例
7. 参数调整:学会做对比,而不是背固定数值
在 SD 的常见操作界面中,下面几项最值得掌握:
| 参数 | 操作上主要影响什么 |
|---|---|
| 模型与版本 | 能生成的内容、风格和配套组件 |
| 宽高与比例 | 构图及最终可用尺寸 |
| Seed 随机种子 | 控制随机起点,便于比较设置 |
| Steps 步数 | 生成耗时和结果表现,需要按模型选择 |
| CFG/引导强度 | 文字条件的影响程度,过高也可能损害结果 |
| Sampler/Scheduler | 生成方式的具体设置,影响速度和输出表现 |
| Denoise/重绘强度 | 在图生图中改变原图的程度 |
这些参数应从模型或工作流的推荐设置开始调整。固定其他条件、一次比较少量变量,更容易判断变化原因;AUTOMATIC1111 的 X/Y/Z Plot 就是为这种参数对比提供的工具。ComfyUI 参数说明、X/Y/Z 参数对比
Seed 也不能单独保证跨模型、跨软件版本和跨设备得到完全相同的图,需要同时记录模型、参数和运行环境。Diffusers 复现指南
8. 放大与保存工作流:让结果能够继续使用
图片选定后,可以使用放大模型增加输出尺寸,再检查文字、五官、材质和边缘有没有发生不合要求的变化。ComfyUI 提供了加载 ESRGAN 等放大模型的完整示例;相关技术的一手资料还包括 Real-ESRGAN 原作者项目。ComfyUI 放大示例
保存成果时,除最终图片,还应保留模型名称、提示词、参考图、参数和工作流。这样以后要换尺寸、调整风格或继续制作同一套作品时,才能从已有成果接着做。
以“同一个角色的三张场景插画”为例,就会同时用到:参考图保持主体特征、姿态控制安排动作、风格参考或 LoRA 保持视觉表现、局部重绘修正问题,以及工作流记录。实操的熟练程度,主要体现在能否为具体偏差选择合适的控制方法,并判断修改是否成功。