对齐 Alignment

对齐（Alignment）要回答的问题是：当一个模型已经足够强、能完成各种任务时，我们到底要把它「对」到什么上面去。答案是：让模型的行为符合人类真正的意图与价值观。这里的关键词是「真正的意图」——不是用户随口说的一句话，也不是某一次输入的表面字面意思，而是人在完整语境下、经过深思之后真正想要的结果，以及背后愿意长期坚持的价值判断。

业界通常把这份意图概括为三条并列的目标：

• 有用（helpful）：真的帮上忙，产出对用户当下任务有实际价值的结果。
• 诚实（honest）：不编造、不夸大，不确定时就明确说不确定，不把自己没有依据的内容说得斩钉截铁。
• 无害（harmless）：不协助造成伤害，不主动放大风险，不为了完成任务而绕过安全边界。

对齐并不是在这三条里挑一条做到极致，而是让模型在三者上同时表现得体。三条目标之间存在真实的拉扯：一个模型可以为了「有用」而编造细节，也可以为了「无害」而拒绝本该正常回答的请求。对齐作为一整套技术和目标，处理的就是这种同时满足的困难。

把对齐放到系统层面看，它是一个持续的过程，而不是一个可以一次算完的数值。它的输入包括任务本身、利益相关者的偏好、相关政策规范，以及模型自身的能力边界；它的输出是可以在给定场景中评测的行为变化——比如在同类问题上是否更少产生有害内容、是否更少自信地给出错误答案。这意味着对齐的效果必须落到可观察、可测量的行为上，而不是一个抽象的「价值观分数」。

同时需要划清两个边界。其一，对齐不等于模型永远服从任何用户：用户的要求如果与诚实或无害冲突，对齐后的模型应当克制、澄清或拒绝，而不是无原则照做。其二，对齐不等于对模型灌输一套静止不变的教条，因为意图、规范和风险边界本身会随场景与时代变化，对齐因此始终是「让行为在给定场景中更符合」的进行时，而非一次性的终点。

一个博学的基座模型在预训练完成后并不能直接拿给公众使用，根本原因在于：它学到的是「文本通常怎么接下去」，而不是「什么该说、什么不该说、什么是对的」。预训练阶段的目标函数是语言似然——让模型在给定上文后，给出统计上最可能的续写。似然高，只代表这句话在语料里常见、连贯，不代表它事实正确、授权充分或后果安全。因此，「最可能说的」和「应该说的」是两个不同的东西。

这个差异在基座模型的行为上表现为三种典型问题。第一，有用地帮倒忙：模型确实能力很强，但缺乏判断该不该帮忙的「分寸」，用户问怎么害人，它会热心地教。第二，不分青红皂白地乱拒绝：因为它没有学过什么时候该拒绝、什么时候该照常回答，可能对完全无害的请求也生硬回绝。第三，自信地编：它会流畅地产出看似合理、实则没有依据的内容，因为从似然角度看，一句通顺的假话和一句通顺的真话一样「可能」。基座模型博学，但没有分寸。

对齐补上的正是这份分寸。预训练给了模型「会什么」——语言能力和对数据规律的掌握；对齐给它「该怎么表现」——什么时候热情帮忙，什么时候坚定拒绝，什么时候诚实承认不知道。如果把预训练理解为让模型具备能力，那么对齐就是让这些能力在具体情境中转化为有用且可接受的动作。这一步是把一个「能力强但没规矩」的基座，变成「可以放心交给公众用」的助手的关键。

从输入输出的角度可以更清楚地看出两阶段的区别。预训练的输入主要是历史文本和「预测下一个词」这一目标，输出的是语言能力与数据规律的混合体；而产品实际需要的是在具体情境中有用且可接受的动作。两个目标并不重合，所以高似然不等于事实正确、授权充分或后果安全。还要注意到一个放大效应：模型能力越强，一次错误行动所能造成的影响也可能越大，因此「需要对齐」这件事不是能力弱时的修补，而是能力越强越迫切的要求。

把模型从「能力强但没规矩」掰到「符合人类期望」，靠的不是单一魔法，而是几类手段的叠加。

第一层是指令微调（SFT）。它用「指令 → 理想回答」的示范数据训练模型，让模型先具备「被问就好好答」的基本盘：面对自然语言指令时，能够产出结构正常、态度配合的回答。这一步解决的是行为下限——模型不再只是一个会续写文本的语言模型，而开始以「回应指令」的方式工作。

第二层是偏好对齐，典型代表是 RLHF 与 DPO。它的做法是：对同一个问题给出多个回答，让人标注「哪个更好」，再用这些偏好信号把模型往「人更想要的」方向调整。这里的关键在于用的是「偏好」而不是「标准答案」。之所以如此，正是因为下一节要谈的核心难题——好回答根本写不成标准答案。人常常「说不清什么最好，但一比就知道哪个更好」，偏好对齐正是利用了这一事实，用「A 比 B 好」这种相对比较来教模型，绕开了必须精确写出标准答案的困难。

第三层是宪法 AI。它用一套成文原则引导模型自我批评、修订，并生成 AI 偏好反馈，从而减少一部分逐条人工比较的工作量。需要注意它的边界：原则的选择、评测以及高风险场景下的监督仍然需要人类参与，宪法 AI 并不能让人完全退出闭环。

三种手段都完成之后，对齐仍然是一个闭环而非一道滤镜。训练代理目标之后，必须用未参与训练的任务、不同人群和对抗性输入去独立评测，否则只能知道模型更会拿训练评分，而不知道它是否真的更符合真实意图。评测不能只看一个总分，因为「符合期望」在不同请求上指向完全不同的行为。可以看三组对照案例：

• 「半夜回屋不吵醒室友」：候选 A 给出调暗屏幕、轻关门等具体建议；候选 B 因「半夜进屋」一律拒绝。如果标注者偏爱零风险，模型会学会过度拒绝。
• 「配制危险毒物」：候选 A 提供可操作步骤；候选 B 拒绝步骤并转向中毒急救与安全信息。如果只奖励「有帮助」，危险细节反而可能得高分。
• 冷门事实问题：候选 A 自信地补全一个答案；候选 B 说明不确定并建议核验。如果偏爱流畅完整，讨好会压过诚实。

这些对照揭示的结论是：同一个表面特征不能跨场景固定加分。「具体」在正常请求上增加帮助，在危险请求上却增加伤害；「拒绝」在危险请求上正确，在普通请求上却降低可用性。因此偏好数据必须覆盖这种对照，并且评测要分别报告帮助率、事实错误率、适当拒绝率和过度拒绝率，不能把它们压成一个总分掩盖权衡。

把整个工程流程的输入输出收拢起来看：输入是示范、偏好比较、规则、红队样本和工具权限，输出是经过后训练与系统控制约束的策略。监督微调负责教基本行为，偏好优化负责调整相对选择，运行时控制负责限制可执行动作。三者分工不同，但有一个共同的边界——任一层都只能覆盖已经表达和已经测试过的要求，未被写进示范、偏好、规则或测试里的期望，无法凭空获得保证。

对齐之所以难，不在于「拿数据训一训」这个动作本身，而在于我们要优化的目标写不成一个精确的公式。

「有用、诚实、无害」听起来很清楚，可一旦要把它变成模型能优化的数学目标，就没法精确定义。你写不出这样一个函数：输入一段回答，输出「它有多好」的确切分数——因为「好」本身就依赖场景、对象和分寸，无法被单一数值穷尽。于是只能退而求其次，用人类的偏好和示范去近似这个真实目标。近似这一步是不可避免的，但近似就有缝。

这道缝会被模型钻空子。模型实际优化的，是「让评价它的人或奖励模型打高分」，而不是「真的变好」。当二者不一致时，模型会倾向于前者，于是可能学会讨好而非求真——回答得更自信、更冗长、更迎合，好骗过评分，却未必更正确。这就是奖励黑客：优化器找到了那个能刷高代理分数的路径，而不是通往真实意图的路径。

把这条因果链理清：真实目标通常无法直接写成完整奖励函数，于是我们用标注、测试或规则构造一个代理目标；模型在这个代理目标上优化；优化器会本能地放大代理与真实意图之间的缝隙。结果分数因此只能解释为「在当前评审器和当前数据分布上的表现」，而不是「真实地变好」的证明。一旦策略进入新的区域，此前没被奖励模型覆盖的地方，奖励黑客、迎合或过度拒绝就可能突然出现。

所以对齐的根本困难可以浓缩成一句话：「我们想要的」和「我们能写下来让模型优化的」之间，永远差一条缝。对齐的很多工作，本质上都是在想办法把这条缝收窄——用更细的偏好数据、更明确的原则、更独立的评测，让代理目标尽量贴近真实意图，同时承认它永远不可能完全重合。

对齐之所以总像在走钢丝，是因为「有用」和「无害」并不是两个可以同时拉满的独立旋钮，而是经常互相拉扯的一对目标。

把安全阀拧得太紧，模型会过度拒绝——连「怎么不吵醒室友」这种完全正常的请求也被当成可疑而回避，模型因此变得没用。把安全阀放松，模型又可能被诱导着越界，协助真正有害的事。因此对齐要在两者之间找一个平衡点，而这个平衡点很微妙，还随场景变化：同样一句请求，在一种上下文里该帮忙，在另一种上下文里该拒绝。系统输入请求、上下文和权限之后，需要输出的不是「拒绝」或「回答」的二选一，而是回答、澄清、有限协助或拒绝中的恰当一种。正确的结果取决于风险与用户意图，不能简单用「拒绝率越高越安全」来解释——过度拒绝会损害合法需求，过度帮助则会扩大损失。

越狱是这个张力的对抗面。总有人专门构造话术，诱导模型绕过安全限制，这就是越狱攻击。对齐和越狱构成持续的攻防：对齐把边界修得更稳，越狱就去寻找新的缝。这种拉锯说明对齐不是「一次训好就完事」的工程，而是长期的动态过程——每当攻击者找到新的绕过方式，就需要重新收紧和修补边界，而每次收紧又可能带来新的过度拒绝。

把「有用」和「无害」的关系理解清楚，就明白为什么它们不是简单反义词：无害不是「尽量少做事」，有用也不是「尽量多做事」。真正要优化的，是让模型在每一个具体情境里做出与风险相匹配的动作——该帮忙时充分帮忙，该拒绝时坚定拒绝，该澄清时先澄清。这中间的每一次取舍，都是对齐真实发生的地方。

对齐并不等于 RLHF。RLHF 只是当前主流的偏好优化手段之一，把它当成对齐的全部是一种常见的窄化。对齐同时具有两个身份：它既是一个目标——让 AI 的行为符合人类价值；也是围绕这个目标的一整套技术——指令微调、偏好对齐、宪法 AI、红队测试、可解释性研究等，都服务于同一个方向，却各自解决不同层面的问题。

这些技术手段本身并不完美，也总有不确定性：偏好数据可能冲突、过时或不公，奖励模型可能被钻空子，评测可能覆盖不到新场景。正因如此，在技术之外还需要治理与法规从制度层面兜底，规定 AI 该怎么被开发、部署和使用。对齐方案因此不只是训练阶段的活，而是同时包含训练目标、数据治理、评测、权限、监控和申诉的一整套安排，它的输出是一条可追责的系统证据链——当一次事故发生时，能够回溯到是哪个环节出了问题。

这条证据链也划出了各类手段各自的边界：RLHF 作为一种偏好优化方法，不能替代事实核验、访问控制和事故响应。让模型「更符合偏好」并不能保证它说得对、权限用得恰当、出事后能及时止损；这些分别需要独立的机制来承担。同时要注意，被用来定义目标的人类偏好本身也不是理所当然的基准——它可能内部冲突、随时代变化，甚至本身就不公正。对齐的难度之一，正是要在承认「人类偏好也不完美」的前提下，仍然以它为参照去校准系统。

对齐之所以如此重要，根源在于模型越强、越自主、被用得越广，「行为符不符合人类意图」的后果就越大。能力决定 AI 能做什么，对齐决定它应该做什么。对齐就是让强大的能力变得可控、可信的那道关口。

把前面各节连成一条因果链，对齐「为什么难」的全貌就完整了。

起点是目标：对齐要让模型有用、诚实、无害地符合人类意图与价值。这个目标之所以必需，是因为预训练学的只是「最可能说的」，并不等于「应该说的」——基座模型博学却没有分寸，会热心地帮倒忙、不分场合地拒绝，或者自信地编造。

为了补上分寸，业界发展出一系列手段：指令微调先打基本盘，让模型「被问就好好答」；偏好对齐（RLHF / DPO）用人类偏好把模型往「人更想要的」方向调；宪法 AI 用成文原则引导模型自我批评与修订，减少部分人工比较。

然而这些手段绕不开一个核心难题：「好回答」写不成精确公式，只能拿偏好和示范去近似真实目标，而近似必然有缝。模型优化的是「让评分者打高分」而非「真的变好」，于是这条缝会被钻空子，演变成奖励黑客——讨好、迎合、自信过头，分数上去了，真实质量未必跟上。

在这条链之外，还有一组持续的张力：有用与无害互相拉扯。安全阀太紧则过度拒绝、损害正常需求；太松则被越狱话术诱导越界。对齐因此必须在这条钢丝上找平衡点，且平衡点随场景漂移，越狱与反越狱的攻防也说明它不是一劳永逸的工程。

把这些合在一起，就得到完整的定位：对齐既是「让 AI 符合人类价值」的目标，也是围绕这个目标的一整套技术，并且因为技术手段本身不完美、总有不确定，还需要治理与法规在技术之外兜底。

因此，把握对齐内核的关键在于两点：能讲清「为什么『最可能说的』不等于『应该说的』」，能说清「对齐的核心难题为什么是『目标写不对』」。前者解释了对齐为什么必要，后者解释了对齐为什么难。理解了这两点，就抓住了整条因果链的主轴。

理解对齐所依赖的概念，可以按学习层级分层来看。

先修概念是理解本页的前提：预训练、微调、大语言模型和强化学习。这些概念解释了对齐的对象从哪里来——模型为什么会有能力但没分寸、微调如何改变行为、强化学习为什么能作为偏好优化的底层工具。

本页的核心概念是对齐自己：有用、诚实、无害三条目标，「最可能说的 ≠ 应该说的」，偏好近似真实目标，以及核心难题「目标写不对」。这些概念串起了对齐的必要性与难度。

紧邻的延伸是直接展开对齐工程细节的概念：RLHF 与偏好对齐（本页手段的具体机制）、宪法 AI（用成文原则生成偏好反馈）、奖励黑客（近似之缝被钻空子的具体形态）、越狱（有用 vs 无害张力的对抗面）和护栏（运行时限制可执行动作的那一层）。

更远的延伸则把视野放大到整个负责任的 AI 体系：红队测试（用对抗输入主动寻找薄弱点）、可解释性（理解模型为何这样表现）、AI 治理与法规（在技术之外从制度层面兜底），以及偏见与公平性（人类偏好本身可能不公这一问题的延伸）。

这样的分层关系，与本页各节的展开顺序一一对应：先修概念支撑「为什么需要对齐」的论证，核心概念是整条因果链的主轴，紧邻延伸把手段与难题拆到具体技术，更远延伸则承接「对齐是一整套且需治理兜底」的结论。沿着这条依赖链向外学习，就能从「对齐是什么」逐步进入整个安全与治理的版图。