搜索与文字目录 / Search
131 项；无需 JavaScript 也可浏览完整目录。
- 注意力机制概念 / Concept
让模型在处理每个词时，动态决定该'看'输入里的哪些其他词、看多重。
概念关系（→ 有向，— 无向）
- 注意力机制 → Transformer · 核心组件
- 注意力机制 → 上下文窗口 · 平方级开销
- 注意力机制 → 中间迷失 · 注意力稀释是成因
- 推理优化 → 注意力机制 · 平方级瓶颈
- 可解释性 → 注意力机制 · 看注意力（仅线索）
- 重排 Reranking → 注意力机制 · 交叉编码
- 提示缓存 → 注意力机制 · 复用 KV
- 注意力机制 → 梯度消失 · 路径长度为 1
- 位置编码与 RoPE → 注意力机制 · 让注意力识别先后
- 状态空间模型与 Mamba — 注意力机制 · 压缩状态 vs 位置两两交互
- Transformer概念 / Concept
以注意力机制为核心搭起来的神经网络架构，是当今几乎所有大模型的骨架。
概念关系（→ 有向，— 无向）
- 注意力机制 → Transformer · 核心组件
- 嵌入 Embedding → Transformer · 输入层
- Transformer → 大语言模型 LLM · 架构基础
- 扩散模型 → Transformer · 新一代骨干
- 混合专家 MoE → Transformer · 稀疏化前馈层
- 多模态 → Transformer · 统一 token 化
- 语音识别与合成 → Transformer · 音频 token 化
- 残差连接 → Transformer · 每层两处
- Transformer → 缩放定律 · 可并行才谈得上放大
- Transformer → 神经网络 · 是一种
- Transformer — 循环神经网络 RNN · 并行 vs 顺序
- 预训练 → Transformer · 训练对象
- 批归一化 Batch Norm — Transformer · BN vs 层归一化
- 位置编码与 RoPE → Transformer · 注入顺序
- 层归一化与 RMSNorm → Transformer · 每层稳定组件
- 状态空间模型与 Mamba — Transformer · 线性状态 vs 全局注意力
- 残差连接概念 / Concept
让输入直接绕过一层与输出相加，是深层网络能训起来的结构性前提。
概念关系（→ 有向，— 无向）
- 残差连接 → 梯度消失 · 给梯度开直通车
- 残差连接 → Transformer · 每层两处
- 残差连接 → 卷积神经网络 CNN · ResNet
- 批归一化 Batch Norm — 残差连接 · 深层网络两支柱
- 层归一化与 RMSNorm — 残差连接 · 深层训练搭档
- 梯度消失概念 / Concept
梯度在层层回传中不断相乘，指数级衰减到接近零，导致浅层学不动。
概念关系（→ 有向，— 无向）
- 反向传播 → 梯度消失 · 连乘导致
- 梯度消失 → 循环神经网络 RNN · 长依赖学不到
- 梯度消失 → 神经网络 · 限制深度
- 残差连接 → 梯度消失 · 给梯度开直通车
- 注意力机制 → 梯度消失 · 路径长度为 1
- 批归一化 Batch Norm → 梯度消失 · 稳住数值尺度
- 层归一化与 RMSNorm → 梯度消失 · 稳定激活尺度
- 缩放定律概念 / Concept
模型规模、数据量、算力同步放大时，损失会以可预测的幂律下降。
- 大语言模型 LLM概念 / Concept
在海量文本上训练出的超大 Transformer，本质是在预测下一个 token。
概念关系（→ 有向，— 无向）
- Transformer → 大语言模型 LLM · 架构基础
- Token 与分词 → 大语言模型 LLM · 输入表示
- 采样与解码参数 → 大语言模型 LLM · 解码阶段
- 上下文窗口 → 大语言模型 LLM · 单次可见上限
- RAG 检索增强生成 → 大语言模型 LLM · 基于材料生成
- 提示注入 → 大语言模型 LLM · 指令与数据同构
- AI Agent → 大语言模型 LLM · 决策大脑
- 微调 Fine-tuning → 大语言模型 LLM · 改造权重
- 大语言模型 LLM — 提示工程 · 作用对象
- 越狱 Jailbreak → 大语言模型 LLM · 绕过安全边界
- 对齐 Alignment → 大语言模型 LLM · 塑造行为边界
- 代码生成 / AI 编程 → 大语言模型 LLM · 写代码
- 流式输出 → 大语言模型 LLM · 自回归逐字生成
- 上下文学习 → 大语言模型 LLM · 涌现能力
- 多模态 → 大语言模型 LLM · 多模态扩展
- 缩放定律 → 大语言模型 LLM · 敢于持续加注
- 预训练 → 大语言模型 LLM · 第一阶段
- 推理模型 → 大语言模型 LLM · 推理时扩展
- 大语言模型 LLM → 损失函数 · 预测下一token的交叉熵
- 信息论与熵 — 大语言模型 LLM · 困惑度即交叉熵
- Token 与分词概念 / Concept
模型看不见字符，只看见 token —— 文本被切成的一个个小片段。
- 嵌入 Embedding概念 / Concept
把文本变成一串数字（向量），让语义相近的内容在向量空间里也靠得近。
概念关系（→ 有向，— 无向）
- 嵌入 Embedding → Transformer · 输入层
- RAG 检索增强生成 → 嵌入 Embedding · 语义检索
- 向量数据库 → 嵌入 Embedding · 存的就是向量
- 检索与语义搜索 → 嵌入 Embedding · 算相似度
- 图像生成 → 嵌入 Embedding · 文本图像对齐
- 嵌入 Embedding → 维度灾难 · 有结构的高维可用
- CLIP 图文对比学习 → 嵌入 Embedding · 图文同一空间
- 知识图谱与 GraphRAG — 嵌入 Embedding · 关系 vs 相似度
- 多模态 → 嵌入 Embedding · 共享语义空间
- 降维 — 嵌入 Embedding · 嵌入可视化
- 聚类 → 嵌入 Embedding · 文本主题归纳
- 对比学习 → 嵌入 Embedding · 塑造表示空间
- 上下文窗口概念 / Concept
模型单次能「看见」的 token 总量上限——它的工作台有多大。
概念关系（→ 有向，— 无向）
- Token 与分词 → 上下文窗口 · 以 token 计量
- 上下文窗口 → 大语言模型 LLM · 单次可见上限
- 上下文窗口 → RAG 检索增强生成 · 所以要切块
- 注意力机制 → 上下文窗口 · 平方级开销
- 中间迷失 → 上下文窗口 · 塞得进≠读得到
- 上下文窗口 → 文档切分 Chunking · 所以要切小
- 思维链 CoT → 上下文窗口 · 输出变长
- 上下文窗口 → Agent 记忆 · 装不下才要外部记忆
- Agent 循环 → 上下文窗口 · 每轮结果都拼回上下文
- 上下文压缩 → 上下文窗口 · 腾出窗口
- 上下文学习 → 上下文窗口 · 例子占预算
- 上下文工程 → 上下文窗口 · 预算分配
- 推理优化 → 上下文窗口 · 长上下文才可行
- 视频生成 → 上下文窗口 · 多帧算力压力
- 上下文窗口 → 多 Agent 编排 · 移交时易丢上下文
- 位置编码与 RoPE → 上下文窗口 · 影响长度外推
- 状态空间模型与 Mamba — 上下文窗口 · 长序列线性扫描
- 中间迷失概念 / Concept
放在上下文中段的信息，模型的利用率明显低于放在开头和结尾。
概念关系（→ 有向，— 无向）
- 中间迷失 → 上下文窗口 · 塞得进≠读得到
- 注意力机制 → 中间迷失 · 注意力稀释是成因
- 中间迷失 → RAG 检索增强生成 · 材料给了也用不上
- 检索与语义搜索 → 中间迷失 · 少放 + 重排放两端
- 越狱 Jailbreak → 中间迷失 · 长上下文淹没安全指令
- 上下文工程 → 中间迷失 · 少而精
- 重排 Reranking → 中间迷失 · 只剩几条都在两端
- 位置编码与 RoPE — 中间迷失 · 位置偏差因素
- 采样与解码参数概念 / Concept
控制模型从「下一个词的概率分布」里怎么挑的一组旋钮。
- 微调 Fine-tuning概念 / Concept
在预训练模型的基础上，用特定数据继续训练，改变模型的权重。
概念关系（→ 有向，— 无向）
- RAG 检索增强生成 — 微调 Fine-tuning · 喂事实 vs 改行为
- 提示工程 — 微调 Fine-tuning · 零成本 vs 需训练
- 微调 Fine-tuning → 大语言模型 LLM · 改造权重
- 对齐 Alignment → 微调 Fine-tuning · SFT + 偏好优化
- 正则化 → 微调 Fine-tuning · 小数据微调必备
- 上下文学习 — 微调 Fine-tuning · 不改权重 vs 改权重
- RLHF 与偏好对齐 → 微调 Fine-tuning · 跟在 SFT 之后
- 可控生成 → 微调 Fine-tuning · LoRA 保持身份
- 微调 Fine-tuning → 监督学习 · SFT
- 过拟合 → 微调 Fine-tuning · 小数据微调易过拟合
- 后训练 Post-training → 微调 Fine-tuning · 监督指令阶段
- 微调 Fine-tuning → 优化器与学习率调度 · 控制适配幅度
- 参数高效微调 PEFT / LoRA → 微调 Fine-tuning · 只训少量参数
- 模型合并与适配器组合 — 微调 Fine-tuning · 合并 vs 重训
- 声音克隆 → 微调 Fine-tuning · 专业克隆更新目标说话者参数
- 神经网络概念 / Concept
由多层可调参数的简单单元堆叠而成、通过数据自动学习映射关系的模型。
概念关系（→ 有向，— 无向）
- 变分自编码器 VAE → 神经网络 · 是一种
- 对抗样本与鲁棒性 → 神经网络 · 决策边界不合人意
- 可解释性 → 神经网络 · 黑箱难打开
- 生成对抗网络 GAN → 神经网络 · 是一种
- 梯度消失 → 神经网络 · 限制深度
- 卷积神经网络 CNN → 神经网络 · 是一种
- 循环神经网络 RNN → 神经网络 · 是一种
- Transformer → 神经网络 · 是一种
- 神经网络 → 梯度下降 · 训练方式
- 决策树与集成方法 — 神经网络 · 表格数据常胜
- 批归一化 Batch Norm → 神经网络 · 训练稳定层
- 核方法与 SVM — 神经网络 · 手工核 vs 学表示
- 梯度下降概念 / Concept
沿着「误差下降最快的方向」一小步一小步调整参数，是模型训练的基本方法。
- 反向传播概念 / Concept
高效计算「每个参数该往哪调」的算法，让深层网络的训练成为可能。
- 过拟合概念 / Concept
模型把训练数据背下来了，包括其中的噪声，导致遇到新数据就失灵。
- 卷积神经网络 CNN概念 / Concept
用滑动的小窗口在图像上提取局部特征的网络，长期是计算机视觉的主力。
概念关系（→ 有向，— 无向）
- 残差连接 → 卷积神经网络 CNN · ResNet
- 卷积神经网络 CNN → 神经网络 · 是一种
- 卷积神经网络 CNN → 扩散模型 · 早期 U-Net 骨干
- 循环神经网络 RNN概念 / Concept
按顺序逐个处理序列、并把「记忆」传给下一步的网络，Transformer 之前的序列主力。
概念关系（→ 有向，— 无向）
- 梯度消失 → 循环神经网络 RNN · 长依赖学不到
- 循环神经网络 RNN → 神经网络 · 是一种
- Transformer — 循环神经网络 RNN · 并行 vs 顺序
- 反向传播 → 循环神经网络 RNN · 梯度消失
- 状态空间模型与 Mamba — 循环神经网络 RNN · 递归状态传统
- 监督学习概念 / Concept
用带标准答案的数据训练模型，让它学会从输入预测输出。
- 无监督学习概念 / Concept
从没有标注的数据中自己找出结构与规律。
- 强化学习概念 / Concept
让智能体在环境中试错，用奖励信号学出一套行为策略。
概念关系（→ 有向，— 无向）
- 奖励黑客 → 强化学习 · 奖励函数写不对
- 世界模型与 3D 生成 — 强化学习 · 模型化环境
- RLHF 与偏好对齐 → 强化学习 · PPO
- 对齐 Alignment → 强化学习 · RLHF
- 强化学习 — AI Agent · 两种「智能体」
- 自监督学习概念 / Concept
从数据本身构造训练目标，不需要人工标注——大模型时代的直接前提。
- 正则化概念 / Concept
一整套限制模型「死记硬背」能力的手段，用来对付过拟合。
概念关系（→ 有向，— 无向）
- 正则化 → 过拟合 · 限制死记硬背
- 正则化 → 微调 Fine-tuning · 小数据微调必备
- 梯度下降 — 正则化 · 小批量噪声自带
- 量化 Quantization — 正则化 · 精度宽容同源
- 批归一化 Batch Norm — 正则化 · 批内噪声带正则
- 核方法与 SVM — 正则化 · 最大间隔即一种正则
- 决策树与集成方法概念 / Concept
用一连串「是/否」判断做预测的模型，以及把多棵树组合起来的增强方法。
- 聚类概念 / Concept
在没有标签的情况下，把相似的样本自动分成若干组。
- 降维概念 / Concept
把高维数据压缩到低维，同时尽量保留原有的结构信息。
- 维度灾难概念 / Concept
维度越高，空间越空旷，「距离」越失去区分度——高维空间不符合直觉。
- 预训练概念 / Concept
在海量无标注文本上做自监督训练，是大模型能力的主要来源。
概念关系（→ 有向，— 无向）
- RAG 检索增强生成概念 / Concept
回答前先去知识库检索相关资料，连同问题一起交给模型，让它基于材料作答。
概念关系（→ 有向，— 无向）
- 上下文窗口 → RAG 检索增强生成 · 所以要切块
- 中间迷失 → RAG 检索增强生成 · 材料给了也用不上
- RAG 检索增强生成 → 嵌入 Embedding · 语义检索
- RAG 检索增强生成 → 向量数据库 · 存储与召回
- RAG 检索增强生成 → 大语言模型 LLM · 基于材料生成
- RAG 检索增强生成 → 幻觉 Hallucination · 提供真实材料
- AI Agent → RAG 检索增强生成 · 检索作为工具
- RAG 检索增强生成 — 微调 Fine-tuning · 喂事实 vs 改行为
- 提示工程 — RAG 检索增强生成 · 怎么问 vs 给什么
- 文档切分 Chunking → RAG 检索增强生成 · 离线阶段
- 检索与语义搜索 → RAG 检索增强生成 · 在线阶段
- Agent 记忆 → RAG 检索增强生成 · 长期记忆即检索
- 引用与溯源 → RAG 检索增强生成 · 让检索结论可溯源
- 知识图谱与 GraphRAG → RAG 检索增强生成 · 检索关系而非片段
- 数据投毒 → RAG 检索增强生成 · 污染知识库
- LLM 应用评测 — RAG 检索增强生成 · 调优靠它衡量
- 高级 RAG → RAG 检索增强生成 · 基础之上加处理
- 重排 Reranking → RAG 检索增强生成 · 召回对了但排后面
- 向量数据库概念 / Concept
专门存储向量并支持「找出最相似的 K 个」这种查询的数据库。
概念关系（→ 有向，— 无向）
- RAG 检索增强生成 → 向量数据库 · 存储与召回
- 向量数据库 → 嵌入 Embedding · 存的就是向量
- 检索与语义搜索 → 向量数据库 · 近似最近邻
- 向量数据库 → 重排 Reranking · 近似检索的排序误差
- 提示工程概念 / Concept
通过设计输入的措辞与结构，让模型稳定产出你想要的结果。
- 文档切分 Chunking概念 / Concept
把长文档切成小块，让检索能定位到片段而不是整本书。
概念关系（→ 有向，— 无向）
- 文档切分 Chunking → RAG 检索增强生成 · 离线阶段
- 上下文窗口 → 文档切分 Chunking · 所以要切小
- 文档切分 Chunking → 检索与语义搜索 · 切法定上限
- Agent 记忆 → 文档切分 Chunking · 长期记忆即 RAG
- 检索与语义搜索概念 / Concept
根据问题从知识库里找出最相关的内容——RAG 效果的真正瓶颈。
概念关系（→ 有向，— 无向）
- 检索与语义搜索 → 中间迷失 · 少放 + 重排放两端
- 检索与语义搜索 → RAG 检索增强生成 · 在线阶段
- 检索与语义搜索 → 嵌入 Embedding · 算相似度
- 检索与语义搜索 → 向量数据库 · 近似最近邻
- 文档切分 Chunking → 检索与语义搜索 · 切法定上限
- 维度灾难 → 检索与语义搜索 · 同上
- 高级 RAG → 检索与语义搜索 · 查询改写
- Agent 记忆 → 检索与语义搜索 · 存进去还要捞得回
- 重排 Reranking → 检索与语义搜索 · 精排环节
- 检索与语义搜索 → 对比学习 · 训练语义检索器
- 重排 Reranking概念 / Concept
对召回的候选逐条精算相关性并重新排序，是「先粗筛后精排」的第二步。
概念关系（→ 有向，— 无向）
- 重排 Reranking → 检索与语义搜索 · 精排环节
- 重排 Reranking → 中间迷失 · 只剩几条都在两端
- 重排 Reranking → RAG 检索增强生成 · 召回对了但排后面
- 重排 Reranking → 注意力机制 · 交叉编码
- 向量数据库 → 重排 Reranking · 近似检索的排序误差
- 约束解码概念 / Concept
在生成的每一步屏蔽掉会破坏格式的 token，从机制上保证输出合法。
- 提示缓存概念 / Concept
把重复出现的提示前缀的中间计算结果缓存下来，省掉重复计算。
- 结构化输出概念 / Concept
让模型稳定吐出程序能直接解析的格式，而不是一段自然语言。
- 思维链 CoT概念 / Concept
让模型把推理过程写出来再给答案，复杂任务上准确率明显提升。
- AI Agent概念 / Concept
能自主循环「思考→调用工具→看结果→再思考」直到完成任务的 LLM 系统。
概念关系（→ 有向，— 无向）
- 提示注入 → AI Agent · 劫持工具权限
- 工具调用 / 函数调用 → AI Agent · 接上外部世界
- AI Agent → 大语言模型 LLM · 决策大脑
- AI Agent → RAG 检索增强生成 · 检索作为工具
- Agent 循环 → AI Agent · 核心机制
- Agent 记忆 → AI Agent · 跨轮次状态
- 智能体技能 → AI Agent · 可插拔能力包
- 规划与任务分解 → AI Agent · 拆解复杂目标
- 人在回路 → AI Agent · 关键步人工确认
- 工作流编排 — AI Agent · 写死流程 vs 自主
- 代码执行与沙箱 → AI Agent · 算准+验证闭环
- 计算机操作 → AI Agent · 操作无 API 的软件
- 高级 RAG → AI Agent · Agentic RAG
- 多模态 → AI Agent · 看界面截图
- 多 Agent 编排 → AI Agent · 复杂时的组织方式
- 护栏 Guardrails → AI Agent · 生产必备
- 模型选型与成本 → AI Agent · 每环节选不同模型
- 结构化输出 → AI Agent · 循环不中断
- 提示缓存 → AI Agent · 多轮重复计费
- 强化学习 — AI Agent · 两种「智能体」
- Agent 框架 → AI Agent · 工程封装
- Agent 身份、权限与密钥管理 → AI Agent · 执行身份边界
- 工具调用 / 函数调用概念 / Concept
让模型输出结构化的「调用意图」，由外部程序实际执行并把结果回传。
概念关系（→ 有向，— 无向）
- 提示注入 → 工具调用 / 函数调用 · 放大破坏面
- 工具调用 / 函数调用 → AI Agent · 接上外部世界
- MCP 模型上下文协议 → 工具调用 / 函数调用 · 标准化
- 结构化输出 → 工具调用 / 函数调用 · 调用请求即结构化输出
- Agent 循环 → 工具调用 / 函数调用 · 行动环节
- 智能体技能 → 工具调用 / 函数调用 · 技能含若干工具
- 工作流编排 → 工具调用 / 函数调用 · 节点里调工具
- 代码执行与沙箱 → 工具调用 / 函数调用 · 最强的工具
- ReAct 推理+行动 → 工具调用 / 函数调用 · 行动环节
- 多 Agent 编排 → 工具调用 / 函数调用 · Manager 模式靠调用
- 护栏 Guardrails → 工具调用 / 函数调用 · 高危操作需确认
- MCP 架构 → 工具调用 / 函数调用 · Tools 映射到工具调用
- Agent 身份、权限与密钥管理 → 工具调用 / 函数调用 · 调用前授权
- MCP 模型上下文协议概念 / Concept
把「模型如何连接外部工具与数据」标准化的开放协议。
概念关系（→ 有向，— 无向）
- MCP 模型上下文协议 → 工具调用 / 函数调用 · 标准化
- MCP 架构 → MCP 模型上下文协议 · 三角色与传输层
- Agent 身份、权限与密钥管理 — MCP 模型上下文协议 · 连接不等于授权
- MCP 架构概念 / Concept
MCP 的三个角色（Host / Client / Server）与两种传输方式。
概念关系（→ 有向，— 无向）
- MCP 架构 → MCP 模型上下文协议 · 三角色与传输层
- MCP 架构 → 工具调用 / 函数调用 · Tools 映射到工具调用
- 提示注入 → MCP 架构 · 第三方 Server 不可信
- Agent 循环概念 / Concept
Agent 反复执行的四步：接收输入 → 推理规划 → 调用工具 → 观察结果。
概念关系（→ 有向，— 无向）
- Agent 循环 → AI Agent · 核心机制
- Agent 循环 → 工具调用 / 函数调用 · 行动环节
- Agent 循环 → 上下文窗口 · 每轮结果都拼回上下文
- 上下文压缩 → Agent 循环 · 长任务不失忆
- AI 编程工具 → Agent 循环 · 仓库级 Agent
- 规划与任务分解 → Agent 循环 · 蓝图 vs 施工
- 可观测性与追踪 → Agent 循环 · 看清哪步出错
- 计算机操作 → Agent 循环 · 感知+鼠标键盘
- 自我反思 → Agent 循环 · 观察反思环节
- 上下文工程 → Agent 循环 · 每轮重构上下文
- ReAct 推理+行动 → Agent 循环 · 循环的原型
- 多 Agent 编排 — Agent 循环 · 拆开 vs 加工具
- Agent 循环 → 提示缓存 · 每轮重读历史
- Agent 记忆概念 / Concept
让 Agent 跨轮次、跨会话保留信息的机制——上下文窗口装不下的部分。
- 扩散模型概念 / Concept
通过学习「从噪声一步步去噪」来生成内容的模型，当今图像生成的主流。
概念关系（→ 有向，— 无向）
- 扩散模型 → 图像生成 · 当今主流路径
- 扩散模型 → Transformer · 新一代骨干
- 扩散模型 → 自监督学习 · 加噪即造样本
- 变分自编码器 VAE → 扩散模型 · 潜在扩散的压缩层
- 音频与音乐生成 → 扩散模型 · 去噪或自回归
- 生成对抗网络 GAN — 扩散模型 · 对抗 vs 去噪
- 视频生成 → 扩散模型 · 加时间维度
- 卷积神经网络 CNN → 扩散模型 · 早期 U-Net 骨干
- Flow Matching / Rectified Flow — 扩散模型 · 概率路径可统一
- 图像生成概念 / Concept
根据文本描述生成图像，当前主要由扩散模型驱动。
概念关系（→ 有向，— 无向）
- 扩散模型 → 图像生成 · 当今主流路径
- 图像生成 → 嵌入 Embedding · 文本图像对齐
- CLIP 图文对比学习 → 图像生成 · 文字导向生成
- 图像编辑 → 图像生成 · 有起点地改
- 超分辨率与修复 → 图像生成 · 受原图约束地生成
- AIGC 检测与水印 → 图像生成 · 越逼真越难辨
- 图像生成 → 多模态 · 文→图方向
- 可控生成 → 图像生成 · 文字控不住构图
- Flow Matching / Rectified Flow → 图像生成 · 现代生成引擎
- 多模态概念 / Concept
让一个模型同时处理文本、图像、音频等不同形式的信息。
- 生成对抗网络 GAN概念 / Concept
让生成器和判别器对抗训练来生成内容，扩散模型之前的图像生成主力。
概念关系（→ 有向，— 无向）
- 变分自编码器 VAE — 生成对抗网络 GAN · 编码重建 vs 对抗
- AIGC 检测与水印 — 生成对抗网络 GAN · 检测 vs 生成对抗
- 生成对抗网络 GAN — 扩散模型 · 对抗 vs 去噪
- 生成对抗网络 GAN → 神经网络 · 是一种
- 语音识别与合成概念 / Concept
语音转文字（识别）与文字转语音（合成），两个反向的任务。
概念关系（→ 有向，— 无向）
- 音频与音乐生成 — 语音识别与合成 · 造声音 vs 读文字
- AIGC 检测与水印 → 语音识别与合成 · 音色克隆诈骗
- 语音识别与合成 → 多模态 · 音频模态
- 语音识别与合成 → Transformer · 音频 token 化
- 声音克隆 → 语音识别与合成 · 目标说话者条件化的语音合成
- 视频生成概念 / Concept
根据文本或图像生成连续视频，难点在于时间一致性。
概念关系（→ 有向，— 无向）
- 世界模型与 3D 生成 → 视频生成 · 从看到可交互
- 视频生成 → 扩散模型 · 加时间维度
- 视频生成 → 上下文窗口 · 多帧算力压力
- Flow Matching / Rectified Flow → 视频生成 · 高维时空生成
- 可控生成概念 / Concept
在纯文本提示之外，用额外条件精确控制生成结果。
- LLM 应用评测概念 / Concept
系统地衡量一个 LLM 应用好不好——没有它，一切优化都是盲调。
概念关系（→ 有向，— 无向）
- 思维树 ToT → LLM 应用评测 · 评估分支剪枝
- 可观测性与追踪 — LLM 应用评测 · 线上闭环补评测
- LLM 应用评测 → 模型选型与成本 · 先有基线才能换
- LLM 应用评测 — RAG 检索增强生成 · 调优靠它衡量
- 奖励黑客 → LLM 应用评测 · 裁判也会被骗
- 过拟合 → LLM 应用评测 · 测试集污染
- 红队测试 — LLM 应用评测 · 异常 vs 正常输入
- 损失函数 — LLM 应用评测 · 优化的 vs 在乎的
- 模型合并与适配器组合 → LLM 应用评测 · 防能力互相破坏
- 模型评测与基准 — LLM 应用评测 · 模型能力 vs 应用目标
- 模型路由与级联系统 → LLM 应用评测 · 学习升级边界
- 数据漂移与持续监控 → LLM 应用评测 · 触发回归评测
- 高级 RAG概念 / Concept
在基础 RAG 之上加一层处理，解决「检索不到」和「检索不够」的问题。
概念关系（→ 有向，— 无向）
- 知识图谱与 GraphRAG → 高级 RAG · GraphRAG
- 高级 RAG → RAG 检索增强生成 · 基础之上加处理
- 高级 RAG → AI Agent · Agentic RAG
- 高级 RAG → 检索与语义搜索 · 查询改写
- 推理优化概念 / Concept
让模型跑得更快更省的一组技术，大多围绕 KV 缓存和注意力。
- 量化 Quantization概念 / Concept
用更低精度存储模型权重，大幅减小体积和显存，换取轻微的质量损失。
概念关系（→ 有向，— 无向）
- 模型蒸馏 — 量化 Quantization · 换小模型 vs 压精度
- 量化 Quantization → 推理优化 · 低精度换速度
- 量化 Quantization — 正则化 · 精度宽容同源
- 量化 Quantization → 部署形态 · 消费级硬件能跑
- 参数高效微调 PEFT / LoRA → 量化 Quantization · QLoRA
- 部署形态概念 / Concept
把模型跑起来对外服务的几种方式，各有隐私、成本、可控性的取舍。
- RLHF 与偏好对齐概念 / Concept
用人类偏好训练模型倾向于「人更想要的」回答——把基座模型调教成助手的关键一步。
概念关系（→ 有向，— 无向）
- 宪法 AI → RLHF 与偏好对齐 · AI反馈替代人工
- 偏见与公平性 — RLHF 与偏好对齐 · 标注者也带偏见
- RLHF 与偏好对齐 → 对齐 Alignment · 对齐核心环节
- RLHF 与偏好对齐 → 强化学习 · PPO
- 奖励黑客 → RLHF 与偏好对齐 · 讨好而非正确
- RLHF 与偏好对齐 → 微调 Fine-tuning · 跟在 SFT 之后
- 信息论与熵 — RLHF 与偏好对齐 · KL 散度当缰绳
- 后训练 Post-training → RLHF 与偏好对齐 · 偏好阶段
- 红队测试概念 / Concept
主动扮演攻击者去攻破自己的模型，在上线前找出漏洞。
- 可解释性概念 / Concept
试图搞清楚模型内部到底在做什么——目前仍是开放的研究前沿。
概念关系（→ 有向，— 无向）
- Logprobs 与置信度 — 可解释性 · 取出黑箱确定性
- AI 治理与法规 → 可解释性 · 要求可审计
- 可解释性 → 幻觉 Hallucination · 从根上理解成因
- 可解释性 → 注意力机制 · 看注意力（仅线索）
- 可解释性 → 对齐 Alignment · 验证真学会价值
- 可解释性 → 神经网络 · 黑箱难打开
- 混合专家 MoE概念 / Concept
把大模型拆成很多「专家」，每个 token 只激活一小部分，参数量大但计算省。
- 模型蒸馏概念 / Concept
用大模型当老师训练小模型，让小模型学到接近大模型的能力。
- 合成数据概念 / Concept
用模型生成训练数据，应对真实高质量数据见底的问题。
- 主流模型家族概念 / Concept
当前主要的大模型家族及其定位——这是变化最快的一层。
- 幻觉 Hallucination概念 / Concept
模型生成了流畅、自信，但事实上错误或纯属虚构的内容。
概念关系（→ 有向，— 无向）
- RAG 检索增强生成 → 幻觉 Hallucination · 提供真实材料
- 提示工程 → 幻觉 Hallucination · 要求引用原文
- 采样与解码参数 — 幻觉 Hallucination · 高温度加剧
- 思维链 CoT → 幻觉 Hallucination · 减少推理跳步
- 奖励黑客 → 幻觉 Hallucination · 奖励自信语气
- 引用与溯源 → 幻觉 Hallucination · 结论挂出处可核实
- 超分辨率与修复 — 幻觉 Hallucination · 补的细节可能是编的
- 代码生成 / AI 编程 → 幻觉 Hallucination · 编不存在的API
- Logprobs 与置信度 → 幻觉 Hallucination · 低置信可转人工
- 自洽性 → 幻觉 Hallucination · 多数票纠错
- 代码执行与沙箱 → 幻觉 Hallucination · 执行结果客观
- 自我反思 → 幻觉 Hallucination · 不懂就反思不出
- ReAct 推理+行动 → 幻觉 Hallucination · 行动结果纠正推理
- 隐私与数据合规 — 幻觉 Hallucination · 泄露真实 vs 编造
- 可解释性 → 幻觉 Hallucination · 从根上理解成因
- 护栏 Guardrails → 幻觉 Hallucination · 输出校验
- 不确定性校准与选择性预测 → 幻觉 Hallucination · 风险分级与拒答
- 提示注入概念 / Concept
把恶意指令藏在模型会读到的内容里，劫持它的行为。
概念关系（→ 有向，— 无向）
- 提示注入 → AI Agent · 劫持工具权限
- 提示注入 → 大语言模型 LLM · 指令与数据同构
- 提示注入 → 工具调用 / 函数调用 · 放大破坏面
- 越狱 Jailbreak — 提示注入 · 手法重叠、目标不同
- 提示注入 → 计算机操作 · 劫持鼠标键盘权限
- 数据投毒 — 提示注入 · 训练时 vs 推理时
- 红队测试 → 提示注入 · 主动攻自己
- 护栏 Guardrails → 提示注入 · 分层防御
- 提示注入 → MCP 架构 · 第三方 Server 不可信
- Agent 身份、权限与密钥管理 → 提示注入 · 权限截断攻击
- 越狱 Jailbreak概念 / Concept
用特定措辞诱导模型绕过自身的安全限制，说出本不该说的内容。
概念关系（→ 有向，— 无向）
- 越狱 Jailbreak → 大语言模型 LLM · 绕过安全边界
- 越狱 Jailbreak — 提示注入 · 手法重叠、目标不同
- 对齐 Alignment → 越狱 Jailbreak · 训练模型拒绝
- 越狱 Jailbreak → 中间迷失 · 长上下文淹没安全指令
- 越狱 Jailbreak → 响应预填充 · 预填肯定开头绕拒绝
- 越狱 Jailbreak → 系统提示与角色提示 · 说服模型无视它
- 对抗样本与鲁棒性 — 越狱 Jailbreak · 文本版对抗
- 红队测试 → 越狱 Jailbreak · 上线前找漏洞
- 护栏 Guardrails → 越狱 Jailbreak · 输入输出双侧
- 奖励黑客概念 / Concept
系统找到了让奖励变高、却违背设计者本意的捷径——它没做错，是目标没写对。
- 对齐 Alignment概念 / Concept
让模型的行为符合人类意图与价值观的一整套技术与目标。
概念关系（→ 有向，— 无向）
- 对齐 Alignment → 越狱 Jailbreak · 训练模型拒绝
- 对齐 Alignment → 大语言模型 LLM · 塑造行为边界
- 对齐 Alignment → 微调 Fine-tuning · SFT + 偏好优化
- 奖励黑客 → 对齐 Alignment · 优化的是讨好非求真
- 对齐 Alignment → 监督学习 · SFT 阶段
- 宪法 AI → 对齐 Alignment · 可扩展可透明的对齐
- 偏见与公平性 → 对齐 Alignment · 价值的一部分
- AI 治理与法规 — 对齐 Alignment · 制度兜底技术不确定
- RLHF 与偏好对齐 → 对齐 Alignment · 对齐核心环节
- 可解释性 → 对齐 Alignment · 验证真学会价值
- 对齐 Alignment → 强化学习 · RLHF
- 后训练 Post-training → 对齐 Alignment · 塑造助手行为
- 推理模型概念 / Concept
在回答前先生成一段长思考过程的模型，用推理时的算力换准确率。
- Agent 框架概念 / Concept
帮你搭 Agent 循环、状态管理和多 Agent 编排的工具库。
- 多 Agent 编排概念 / Concept
把工作拆给多个 Agent 协作完成，两种主流模式：中心调度与对等交接。
概念关系（→ 有向，— 无向）
- 工作流编排 — 多 Agent 编排 · Manager 带编排色彩
- 多 Agent 编排 → AI Agent · 复杂时的组织方式
- 多 Agent 编排 → 工具调用 / 函数调用 · Manager 模式靠调用
- 上下文窗口 → 多 Agent 编排 · 移交时易丢上下文
- 多 Agent 编排 — Agent 循环 · 拆开 vs 加工具
- 护栏 Guardrails概念 / Concept
在模型前后加多道独立检查，用分层防御把风险挡在外面。
概念关系（→ 有向，— 无向）
- 人在回路 → 护栏 Guardrails · 落实高危确认
- 流式输出 → 护栏 Guardrails · 边发难拦截
- 代码执行与沙箱 → 护栏 Guardrails · 最高危需最强隔离
- 护栏 Guardrails → 隐私与数据合规 · PII 输出过滤
- AI 治理与法规 — 护栏 Guardrails · 同为风险分级思路
- 红队测试 — 护栏 Guardrails · 找漏洞→补护栏
- 护栏 Guardrails → 提示注入 · 分层防御
- 护栏 Guardrails → 越狱 Jailbreak · 输入输出双侧
- 护栏 Guardrails → 幻觉 Hallucination · 输出校验
- 护栏 Guardrails → AI Agent · 生产必备
- 护栏 Guardrails → 工具调用 / 函数调用 · 高危操作需确认
- 不确定性校准与选择性预测 → 护栏 Guardrails · 选择性拒答
- 模型选型与成本概念 / Concept
不是所有任务都需要最强的模型——先用最强的建立基线，再往下换。
- 上下文学习概念 / Concept
模型只靠提示里的几个例子就学会新任务，不改一个权重。
- 上下文工程概念 / Concept
决定每次调用时上下文窗口里到底放什么——比雕琢单条提示更上层的问题。
- ReAct 推理+行动概念 / Concept
让模型交替进行「推理」和「调用工具」，是 Agent 循环的经典范式。
概念关系（→ 有向，— 无向）
- ReAct 推理+行动 → 自我反思 · 观察后反思
- ReAct 推理+行动 → Agent 循环 · 循环的原型
- ReAct 推理+行动 → 思维链 CoT · 推理环节
- ReAct 推理+行动 → 工具调用 / 函数调用 · 行动环节
- ReAct 推理+行动 → 幻觉 Hallucination · 行动结果纠正推理
- 数据投毒概念 / Concept
在训练数据里掺入恶意样本，让模型学到攻击者想要的行为。
- 对抗样本与鲁棒性概念 / Concept
对输入做人眼难察的微小扰动，就能让模型给出完全错误的结果。
- 偏见与公平性概念 / Concept
模型会继承并放大训练数据里的社会偏见，在关键决策场景造成不公。
概念关系（→ 有向，— 无向）
- 偏见与公平性 → 预训练 · 继承并放大数据偏见
- 偏见与公平性 — RLHF 与偏好对齐 · 标注者也带偏见
- 偏见与公平性 → 对齐 Alignment · 价值的一部分
- 训练数据治理 → 偏见与公平性 · 分群与配比检查
- 隐私与数据合规概念 / Concept
模型可能记住并泄露训练数据，加上数据出境等合规约束，是落地的硬门槛。
概念关系（→ 有向，— 无向）
- 隐私与数据合规 — 过拟合 · 记忆越强泄露越多
- 隐私与数据合规 — 幻觉 Hallucination · 泄露真实 vs 编造
- 隐私与数据合规 → 部署形态 · 数据出境限制
- 护栏 Guardrails → 隐私与数据合规 · PII 输出过滤
- Agent 身份、权限与密钥管理 — 隐私与数据合规 · 最小数据访问
- 训练数据治理 → 隐私与数据合规 · 敏感信息治理
- 声音克隆 → 隐私与数据合规 · 复制可识别的声音生物特征
- AI 治理与法规概念 / Concept
管理 AI 风险的制度、标准与法律——技术之外，决定 AI 怎么被允许使用。
概念关系（→ 有向，— 无向）
- 宪法 AI — AI 治理与法规 · 成文原则可议可改
- AIGC 检测与水印 → AI 治理与法规 · 合规要求标注
- AI 治理与法规 — 对齐 Alignment · 制度兜底技术不确定
- AI 治理与法规 → 可解释性 · 要求可审计
- AI 治理与法规 — 护栏 Guardrails · 同为风险分级思路
- 流式输出概念 / Concept
模型一边生成一边把 token 逐个吐出来，而不是等全部生成完再返回。
- Logprobs 与置信度概念 / Concept
模型每步输出的 token 概率，可用来估计它对自己回答有多确定。
概念关系（→ 有向，— 无向）
- 人在回路 → Logprobs 与置信度 · 低置信升级给人
- Logprobs 与置信度 → 采样与解码参数 · 暴露概率分布
- Logprobs 与置信度 → 幻觉 Hallucination · 低置信可转人工
- Logprobs 与置信度 — 可解释性 · 取出黑箱确定性
- 不确定性校准与选择性预测 → Logprobs 与置信度 · 原始概率信号
- 系统提示与角色提示概念 / Concept
在对话最前面设定模型的身份、规则和边界，贯穿整场对话。
- 自洽性概念 / Concept
同一问题让模型独立解多次，取多数答案，比单次思维链更可靠。
- 思维树 ToT概念 / Concept
让模型像搜索一样展开多条推理分支、评估、回溯，而不是一条道走到黑。
- 可观测性与追踪概念 / Concept
记录 LLM 应用每次调用的全过程，让你能看清、能调试、能算账。
- 代码执行与沙箱概念 / Concept
让模型写代码并真正跑起来，用执行结果解决它自己算不准的问题。
概念关系（→ 有向，— 无向）
- 代码生成 / AI 编程 — 代码执行与沙箱 · 写 vs 跑,天生一对
- AI 编程工具 → 代码执行与沙箱 · 写跑改闭环
- 代码执行与沙箱 → 工具调用 / 函数调用 · 最强的工具
- 代码执行与沙箱 → AI Agent · 算准+验证闭环
- 代码执行与沙箱 → 护栏 Guardrails · 最高危需最强隔离
- 代码执行与沙箱 → 幻觉 Hallucination · 执行结果客观
- 推理时计算与验证器 → 代码执行与沙箱 · 外部验证器
- 计算机操作概念 / Concept
让 Agent 像人一样看屏幕、点鼠标、敲键盘，操作没有 API 的软件。
- 自我反思概念 / Concept
让模型检查并批判自己的输出，再据此改进——用一轮自我审视换质量。
概念关系（→ 有向，— 无向）
- 自我反思 → Agent 循环 · 观察反思环节
- 自我反思 — 自洽性 · 串行改 vs 并行投票
- 自我反思 → 幻觉 Hallucination · 不懂就反思不出
- ReAct 推理+行动 → 自我反思 · 观察后反思
- 推理时计算与验证器 → 自我反思 · 检查与修正
- 知识图谱与 GraphRAG概念 / Concept
把知识组织成实体和关系的网络，让检索能沿关系走、能做全局归纳。
概念关系（→ 有向，— 无向）
- 知识图谱与 GraphRAG → RAG 检索增强生成 · 检索关系而非片段
- 知识图谱与 GraphRAG → 高级 RAG · GraphRAG
- 知识图谱与 GraphRAG — 嵌入 Embedding · 关系 vs 相似度
- CLIP 图文对比学习概念 / Concept
用海量图文配对训练，让图片和描述它的文字在向量空间里对齐。
概念关系（→ 有向，— 无向）
- CLIP 图文对比学习 → 嵌入 Embedding · 图文同一空间
- CLIP 图文对比学习 → 图像生成 · 文字导向生成
- CLIP 图文对比学习 → 多模态 · 跨模态对齐
- 对比学习 → CLIP 图文对比学习 · 图文对比目标
- 变分自编码器 VAE概念 / Concept
把数据压进一个连续的潜在空间再重建，生成模型三巨头之一。
概念关系（→ 有向，— 无向）
- 变分自编码器 VAE → 扩散模型 · 潜在扩散的压缩层
- 变分自编码器 VAE — 生成对抗网络 GAN · 编码重建 vs 对抗
- 变分自编码器 VAE → 神经网络 · 是一种
- Flow Matching / Rectified Flow → 变分自编码器 VAE · 常在潜空间运行
- 音频与音乐生成概念 / Concept
生成音乐、音效、环境声——和语音合成是不同的任务。
- 图像编辑概念 / Concept
在已有图片上按指令修改，而不是从零生成——实用场景的主力。
- 超分辨率与修复概念 / Concept
把低清图放大、把破损图修好——用生成能力补出缺失的细节。
概念关系（→ 有向，— 无向）
- 超分辨率与修复 → 图像生成 · 受原图约束地生成
- 超分辨率与修复 — 幻觉 Hallucination · 补的细节可能是编的
- 世界模型与 3D 生成概念 / Concept
生成的不只是一张图或一段视频，而是可交互、有物理规律的三维世界。
概念关系（→ 有向，— 无向）
- 世界模型与 3D 生成 → 视频生成 · 从看到可交互
- 世界模型与 3D 生成 → 合成数据 · 生成世界里训练
- 世界模型与 3D 生成 — 强化学习 · 模型化环境
- AIGC 检测与水印概念 / Concept
判断一张图/一段文/一段音是不是 AI 生成的——生成能力越强，越难也越必要。
概念关系（→ 有向，— 无向）
- AIGC 检测与水印 → 图像生成 · 越逼真越难辨
- AIGC 检测与水印 — 生成对抗网络 GAN · 检测 vs 生成对抗
- AIGC 检测与水印 → AI 治理与法规 · 合规要求标注
- AIGC 检测与水印 → 语音识别与合成 · 音色克隆诈骗
- AIGC 检测与水印 → 声音克隆 · 鉴别合成或冒用音频
- 代码生成 / AI 编程概念 / Concept
让模型写代码——从补全一行到实现整个功能，AI 最成功的应用之一。
概念关系（→ 有向，— 无向）
- 代码生成 / AI 编程 → 大语言模型 LLM · 写代码
- 代码生成 / AI 编程 — 代码执行与沙箱 · 写 vs 跑,天生一对
- 代码生成 / AI 编程 → 幻觉 Hallucination · 编不存在的API
- 代码生成 / AI 编程 → 上下文工程 · 仓库级需喂对上下文
- AI 编程工具 → 代码生成 / AI 编程 · 整合进开发流
- 模型评测与基准 — 代码生成 / AI 编程 · pass@k 与仓库任务
- 规划与任务分解概念 / Concept
把一个大目标拆成可执行的小步骤——Agent 能不能办成复杂任务的关键。
- 人在回路概念 / Concept
在关键或不可逆的步骤上让人介入确认，是 Agent 安全落地的现实底线。
概念关系（→ 有向，— 无向）
- 人在回路 → AI Agent · 关键步人工确认
- 人在回路 → 护栏 Guardrails · 落实高危确认
- 人在回路 → Logprobs 与置信度 · 低置信升级给人
- Agent 身份、权限与密钥管理 → 人在回路 · 高风险再确认
- 不确定性校准与选择性预测 → 人在回路 · 低置信转人工
- AI 编程工具概念 / Concept
把代码生成、执行、仓库理解整合进开发流程的工具，这一层变化极快。
- 工作流编排概念 / Concept
用预先定义好的固定流程串起多次 LLM 调用，和自主 Agent 是两条路。
概念关系（→ 有向，— 无向）
- 工作流编排 — AI Agent · 写死流程 vs 自主
- 工作流编排 — 多 Agent 编排 · Manager 带编排色彩
- 工作流编排 → 工具调用 / 函数调用 · 节点里调工具
- 模型路由与级联系统 — 工作流编排 · 按条件分支
- 宪法 AI概念 / Concept
让模型对照一套写下来的原则自我批判、自我修正，用 AI 反馈替代大量人工标注。
概念关系（→ 有向，— 无向）
- 宪法 AI → RLHF 与偏好对齐 · AI反馈替代人工
- 宪法 AI → 对齐 Alignment · 可扩展可透明的对齐
- 宪法 AI → 奖励黑客 · 原则替代偏好统计
- 宪法 AI — AI 治理与法规 · 成文原则可议可改
- 响应预填充概念 / Concept
把助手回复的开头先替它写好，强力约束输出的格式和走向。
- 引用与溯源概念 / Concept
让模型的回答带出处、可核实——把「信不信它」变成「查一查」。
概念关系（→ 有向，— 无向）
- 引用与溯源 → RAG 检索增强生成 · 让检索结论可溯源
- 引用与溯源 → 幻觉 Hallucination · 结论挂出处可核实
- 引用与溯源 → 结构化输出 · 规范引用格式
- 上下文压缩概念 / Concept
长任务里自动把旧上下文摘要、裁剪，腾出窗口又不丢关键信息。
- 智能体技能概念 / Concept
把一套指令、工具、知识打包成可复用、可按需加载的「技能」，供 Agent 调用。
- 批归一化 Batch Norm概念 / Concept
训练时按小批量的统计量把每层输入归一化到稳定分布，让深层网络训得更快、更稳。
概念关系（→ 有向，— 无向）
- 批归一化 Batch Norm → 神经网络 · 训练稳定层
- 批归一化 Batch Norm → 梯度消失 · 稳住数值尺度
- 批归一化 Batch Norm — 残差连接 · 深层网络两支柱
- 批归一化 Batch Norm — Transformer · BN vs 层归一化
- 批归一化 Batch Norm — 正则化 · 批内噪声带正则
- 层归一化与 RMSNorm — 批归一化 Batch Norm · 单样本 vs 批统计
- 损失函数概念 / Concept
把「预测离目标有多远」压成一个数，训练就是不断调参数把这个数变小。
- 信息论与熵概念 / Concept
用「熵」量化不确定性与信息量，交叉熵、KL 散度是训练与评估语言模型的基本度量。
- 核方法与 SVM概念 / Concept
用「核技巧」在高维空间找最大间隔的分界面，深度学习兴起前最强的分类器之一。
- 后训练 Post-training概念 / Concept
在预训练之后，用指令、偏好与可验证反馈把基座模型塑造成可用助手。
概念关系（→ 有向，— 无向）
- 后训练 Post-training → 预训练 · 基座之后
- 后训练 Post-training → 微调 Fine-tuning · 监督指令阶段
- 后训练 Post-training → RLHF 与偏好对齐 · 偏好阶段
- 后训练 Post-training → 对齐 Alignment · 塑造助手行为
- 后训练 Post-training → 合成数据 · 生成训练任务
- 后训练 Post-training → 推理模型 · 训练推理策略
- 位置编码与 RoPE概念 / Concept
把顺序和相对距离注入注意力，否则 Transformer 无法区分 token 的先后。
概念关系（→ 有向，— 无向）
- 位置编码与 RoPE → Transformer · 注入顺序
- 位置编码与 RoPE → 注意力机制 · 让注意力识别先后
- 位置编码与 RoPE → 上下文窗口 · 影响长度外推
- 位置编码与 RoPE — 中间迷失 · 位置偏差因素
- 层归一化与 RMSNorm概念 / Concept
按单个样本的特征维稳定激活尺度，是深层 Transformer 能稳定训练的关键组件。
概念关系（→ 有向，— 无向）
- 层归一化与 RMSNorm → Transformer · 每层稳定组件
- 层归一化与 RMSNorm — 批归一化 Batch Norm · 单样本 vs 批统计
- 层归一化与 RMSNorm → 梯度消失 · 稳定激活尺度
- 层归一化与 RMSNorm — 残差连接 · 深层训练搭档
- 优化器与学习率调度概念 / Concept
决定拿到梯度后怎样更新参数、每一步走多远，直接影响训练速度与稳定性。
- 参数高效微调 PEFT / LoRA概念 / Concept
冻结大部分基础权重，只训练少量适配参数，以更低显存和存储成本定制模型。
概念关系（→ 有向，— 无向）
- 参数高效微调 PEFT / LoRA → 微调 Fine-tuning · 只训少量参数
- 参数高效微调 PEFT / LoRA → 量化 Quantization · QLoRA
- 参数高效微调 PEFT / LoRA → 部署形态 · 一底座多适配器
- 模型合并与适配器组合 → 参数高效微调 PEFT / LoRA · 组合适配器
- 分布式训练与并行策略概念 / Concept
把模型、数据和计算拆到多张加速卡上，突破单卡显存与训练时间限制。
概念关系（→ 有向，— 无向）
- 分布式训练与并行策略 → 预训练 · 突破单卡限制
- 分布式训练与并行策略 → 缩放定律 · 把算力变成规模
- 分布式训练与并行策略 — 优化器与学习率调度 · 全局批量影响配方
- 分布式训练与并行策略 — 部署形态 · 训练并行 vs 推理服务
- 对比学习概念 / Concept
把相关样本表示拉近、不相关样本推远，学出可检索、可迁移的表示空间。
概念关系（→ 有向，— 无向）
- 对比学习 → 嵌入 Embedding · 塑造表示空间
- 对比学习 → CLIP 图文对比学习 · 图文对比目标
- 对比学习 → 多模态 · 跨模态对齐
- 检索与语义搜索 → 对比学习 · 训练语义检索器
- 模型合并与适配器组合概念 / Concept
在不重新完整训练的情况下组合多个模型或适配器的能力，但容易产生参数干扰。
概念关系（→ 有向，— 无向）
- 模型合并与适配器组合 → 参数高效微调 PEFT / LoRA · 组合适配器
- 模型合并与适配器组合 — 微调 Fine-tuning · 合并 vs 重训
- 模型合并与适配器组合 → LLM 应用评测 · 防能力互相破坏
- 模型评测与基准概念 / Concept
用可复现任务衡量模型能力、鲁棒性与安全性，并识别污染和指标错配。
- 模型路由与级联系统概念 / Concept
按请求难度、成本与风险选择不同模型，让系统不必所有任务都调用最贵模型。
- 数据漂移与持续监控概念 / Concept
上线后的输入、用户与目标会变化，持续监控负责发现模型质量随环境悄悄退化。
- Agent 身份、权限与密钥管理概念 / Concept
明确 Agent 代表谁、能访问什么、凭什么执行，并隔离密钥与高风险权限。
概念关系（→ 有向，— 无向）
- Agent 身份、权限与密钥管理 → AI Agent · 执行身份边界
- Agent 身份、权限与密钥管理 → 工具调用 / 函数调用 · 调用前授权
- Agent 身份、权限与密钥管理 — MCP 模型上下文协议 · 连接不等于授权
- Agent 身份、权限与密钥管理 → 提示注入 · 权限截断攻击
- Agent 身份、权限与密钥管理 → 人在回路 · 高风险再确认
- Agent 身份、权限与密钥管理 — 隐私与数据合规 · 最小数据访问
- Flow Matching / Rectified Flow概念 / Concept
直接学习把噪声连续运输到数据的速度场，是与扩散紧密相关的现代生成路径。
概念关系（→ 有向，— 无向）
- Flow Matching / Rectified Flow — 扩散模型 · 概率路径可统一
- Flow Matching / Rectified Flow → 图像生成 · 现代生成引擎
- Flow Matching / Rectified Flow → 视频生成 · 高维时空生成
- Flow Matching / Rectified Flow → 变分自编码器 VAE · 常在潜空间运行
- 训练数据治理概念 / Concept
管理训练数据的来源、许可、质量、去重、配比与可追溯性，决定能力也决定风险。
- 不确定性校准与选择性预测概念 / Concept
让置信度与真实正确率匹配，并在风险过高时拒答、检索或转人工。
概念关系（→ 有向，— 无向）
- 不确定性校准与选择性预测 → Logprobs 与置信度 · 原始概率信号
- 不确定性校准与选择性预测 → 幻觉 Hallucination · 风险分级与拒答
- 不确定性校准与选择性预测 → 人在回路 · 低置信转人工
- 不确定性校准与选择性预测 → 护栏 Guardrails · 选择性拒答
- 不确定性校准与选择性预测 → 模型评测与基准 · 可靠性曲线
- 推理时计算与验证器概念 / Concept
在回答阶段投入更多候选、搜索、验证和工具计算，以成本与延迟换取成功率。
- 状态空间模型与 Mamba概念 / Concept
用压缩状态线性处理长序列，并通过选择机制决定哪些信息保留或遗忘。
概念关系（→ 有向，— 无向）
- 状态空间模型与 Mamba — Transformer · 线性状态 vs 全局注意力
- 状态空间模型与 Mamba — 注意力机制 · 压缩状态 vs 位置两两交互
- 状态空间模型与 Mamba — 循环神经网络 RNN · 递归状态传统
- 状态空间模型与 Mamba — 上下文窗口 · 长序列线性扫描
- 状态空间模型与 Mamba — 主流模型家族 · 替代骨架方向
- 声音克隆概念 / Concept
从目标说话者的参考语音提取身份表示或声学提示，生成该说话者从未说过的新语音；可在推理时零样本条件化，也可用较长语音微调模型提高一致性。
概念关系（→ 有向，— 无向）
- 声音克隆 → 语音识别与合成 · 目标说话者条件化的语音合成
- 声音克隆 → 可控生成 · 参考音频控制说话者身份
- 声音克隆 → 微调 Fine-tuning · 专业克隆更新目标说话者参数
- 声音克隆 → 隐私与数据合规 · 复制可识别的声音生物特征
- AIGC 检测与水印 → 声音克隆 · 鉴别合成或冒用音频
- 监督学习中文理解页
从「输入 + 目标」样本中学习，并在未见数据上做出可靠预测