跳到正文 / Skip to content
AI 知识地图搜索与文字目录 / Search

第一章 专业图像生成与工作流

阅读说明

使用 ChatGPT、Gemini、豆包等工具,通过文字需求、参考图和连续反馈生成或修改图片,属于技术层级较低,比较方便的图像创作。不属于本章范畴。

Midjourney 的权威教程

Midjourney 官方文档包含图文步骤和短视频,可以覆盖从第一次生成到参考图控制、局部修改的主要操作。

官方资料主要内容
入门指南网页端生成、设置、图片整理,以及后续编辑入口
提示词基础怎样描述主体、媒介、环境、光线、颜色和构图
图片提示 Image Prompts用图片影响内容、构图、颜色等视觉特征
风格参考 Style Reference借用参考图的色彩、材质、媒介和光线风格
编辑模型 Edit Model文字指令编辑、多参考图、局部修改与扩图
修改生成结果变体、放大、Remix、平移和扩展画面等操作

使用这些资料时,要同时查看版本与功能兼容表。例如,当前官方文档中 V8 系列的参考图编辑与旧版 Character Reference、Omni Reference 的入口和兼容关系已有区别,照着旧教程操作可能找不到相同功能。

Stable Diffusion 的权威教程与资料

Stable Diffusion(SD)是图像生成模型家族,SDXL、SD 3.5 是其中的不同模型系列。实际创作时,需要通过操作软件或代码加载相应模型。阅读下面的资料前,先分清几种名称:

名称是什么实际用途
模型卡 Model Card模型发布页面上的说明文档查看发布者、用途、模型文件、使用方法、配套要求、限制与许可;主要用于核对模型信息
ComfyUI运行模型并组织生成步骤的操作软件把加载模型、输入要求、生成、修改和保存等步骤表示为节点,用连线组成工作流;可以使用 SD 及其他模型
WebUI通过网页界面操作模型的软件;这里指 AUTOMATIC1111 Stable Diffusion WebUI通过文生图、图生图等面板中的输入框、滑块和按钮设置并执行任务
DiffusersHugging Face 维护的编程工具库通过 Python 代码加载模型、生成或编辑图片;其文档也可用于查阅参数解释和输出对比

可以这样理解它们的关系:通过 ComfyUI 或 WebUI 操作模型,通过模型卡了解模型;需要用代码运行时,可以使用 Diffusers。 安装操作软件后,还需要准备相应的模型文件与配套组件。初学者可以先跟着界面工具的教程操作,再按需要查模型卡和参数说明,无需先学习 Python。

资料提供者与用途
SDXL 官方模型卡、SD 3.5 Large 官方模型卡Stability AI 提供。确认模型文件、使用方式、配套组件及限制
ComfyUI 官方中文文生图教程从加载模型、输入要求到运行和保存,适合动手入门;其中基础示例使用 SD 1.5
ComfyUI 维护者示例库包含图生图、局部重绘、LoRA、ControlNet、放大、SDXL 等完整工作流;示例图片可载入 ComfyUI 查看流程
AUTOMATIC1111 项目功能文档该 WebUI 自身的操作依据,覆盖局部重绘、参数对比、批处理、图片信息等;具体功能需结合所用版本
Hugging Face Diffusers 实操文档偏代码,但参数解释和对比图很有价值,适合核对某个控制项到底有什么作用

其中,ComfyUI 官方中文教程和示例库最适合直接跟着做;Diffusers 更适合查清技术用法。

下面从创作实际出发介绍这些技术。

1. 文生图:把视觉要求变成可比较的候选图

需要表达的主要内容包括:

  • 主体:画什么,有几个,具有什么外形。
  • 动作与关系:谁在做什么,对象之间怎样安排。
  • 构图:远景或近景、主体位置、观察角度、留白。
  • 表现形式:摄影、水彩、线描、三维渲染等。
  • 光线与颜色:光源方向、明暗、冷暖和主要配色。
  • 画幅:横版、竖版,以及最终使用位置。

例如,下面这段是可以用于练习的需求描述:

一只橙色狐狸坐在雨后的森林小路上,侧面全身,主体位于画面右侧,左侧保留标题空间,水彩插画,低饱和绿色背景,柔和晨光,横版。

实际操作中,可以先比较主体和构图,再调整风格和细节。Midjourney 官方提示词指南也强调清楚表达关键特征,避免堆砌冗长要求。提示词基础

2. 参考图:明确让模型参考什么

参考图片有几种不同用途,操作时需要分清:

参考目的例子对应操作
内容与构图参考房间布局、物体排列图片提示、结构控制
风格借用水彩质感、配色、光线Midjourney Style Reference、适配的参考图方法
主体在新场景中保持人物或产品特征Midjourney 编辑参考、IP-Adapter 等
修改已有图片保留大体画面,改变服装或环境图生图、图像编辑

风格相似与人物相同是不同目标。 Midjourney 明确说明 Style Reference 主要传递整体视觉风格,不负责复制参考图中的人物或物体。SD 生态中的 IP-Adapter 则提供以图片配合文字引导生成的方式,并能调整参考图的影响强度。Style Reference、IP-Adapter 操作指南

3. 图生图:在已有画面上控制变化程度

图生图适合把草图进一步完成、改变表现形式,或在已有图片基础上生成变体。

一个重要操作是调整 重绘强度,不同工具中可能叫 strength 或 denoise:

  • 较低时,通常保留更多原图结构。
  • 较高时,通常允许更大变化。
  • 变化过小,目标修改可能没有发生;变化过大,满意的部分也可能被改掉。

可以固定其他设置,只比较不同强度下的结果,观察“保留原图”和“完成修改”的取舍。Diffusers 图生图指南

4. 局部重绘与扩图:限定修改发生的位置

局部重绘先用蒙版指定区域,再描述该区域应该出现什么。例如,替换一顶帽子、清理背景杂物、修改某个物体。

实操重点包括:

  • 蒙版范围是否覆盖了完整对象和需要衔接的边缘。
  • 是否给模型保留了足够的周围环境作为参考。
  • 新内容的透视、光线、颜色是否与周围一致。
  • 修改后有没有影响原本需要保留的部分。

扩图则用于在原画面外补充内容,例如把方形插画扩成横版封面。局部重绘指南、Midjourney 编辑说明

5. ControlNet:用姿态、线条和深度控制画面结构

当要求涉及明确的位置、动作和空间关系时,可以把这些条件直接作为控制图提供。

控制条件实际用途
边缘、线稿保留建筑轮廓、物体边界或草图结构
人体姿态指定站姿、坐姿、手臂和身体的大体动作
深度指定远近、空间层次与物体的大体体积关系

常见流程是:准备参考图 → 提取所需控制图 → 检查控制图 → 加载匹配的控制模型 → 调整控制强度 → 生成并比较。

控制图本身值得先检查:姿态识别错误,后续生成就可能受到错误约束。ComfyUI 的示例也明确说明,普通照片需要通过相应预处理转换成控制模型要求的输入格式。ComfyUI ControlNet 示例、Diffusers ControlNet 指南

6. LoRA:为特定风格、人物或概念增加定制能力

使用现成 LoRA 时,主要需要确认:

  • 与哪个基础模型配套。
  • 是否需要特定触发词。
  • 推荐怎样设置影响强度。
  • 加载后,对主体、风格和其他画面内容分别产生了什么影响。

可以先比较“未加载”和“加载一个 LoRA”的结果,再调整强度。训练自己的 LoRA 是进一步的定制工作,需要准备合适的训练图片和描述,并检查它在不同场景中的表现。Diffusers LoRA 使用说明、ComfyUI LoRA 示例

7. 参数调整:学会做对比,而不是背固定数值

在 SD 的常见操作界面中,下面几项最值得掌握:

参数操作上主要影响什么
模型与版本能生成的内容、风格和配套组件
宽高与比例构图及最终可用尺寸
Seed 随机种子控制随机起点,便于比较设置
Steps 步数生成耗时和结果表现,需要按模型选择
CFG/引导强度文字条件的影响程度,过高也可能损害结果
Sampler/Scheduler生成方式的具体设置,影响速度和输出表现
Denoise/重绘强度在图生图中改变原图的程度

这些参数应从模型或工作流的推荐设置开始调整。固定其他条件、一次比较少量变量,更容易判断变化原因;AUTOMATIC1111 的 X/Y/Z Plot 就是为这种参数对比提供的工具。ComfyUI 参数说明、X/Y/Z 参数对比

Seed 也不能单独保证跨模型、跨软件版本和跨设备得到完全相同的图,需要同时记录模型、参数和运行环境。Diffusers 复现指南

8. 放大与保存工作流:让结果能够继续使用

图片选定后,可以使用放大模型增加输出尺寸,再检查文字、五官、材质和边缘有没有发生不合要求的变化。ComfyUI 提供了加载 ESRGAN 等放大模型的完整示例;相关技术的一手资料还包括 Real-ESRGAN 原作者项目。ComfyUI 放大示例

保存成果时,除最终图片,还应保留模型名称、提示词、参考图、参数和工作流。这样以后要换尺寸、调整风格或继续制作同一套作品时,才能从已有成果接着做。

以“同一个角色的三张场景插画”为例,就会同时用到:参考图保持主体特征、姿态控制安排动作、风格参考或 LoRA 保持视觉表现、局部重绘修正问题,以及工作流记录。实操的熟练程度,主要体现在能否为具体偏差选择合适的控制方法,并判断修改是否成功。