数据投毒：攻击者怎样用少量训练信号改变模型的特定行为

训练集里出现错误标签，并不等于遭遇了投毒攻击。普通脏数据是由采集噪声、标注疏漏或格式错误产生的，它会让模型变得不可靠，但没有人刻意让它朝某个方向偏。投毒的本质差别在于意图：投毒者主动选择样本、标签、重复次数或来源，目的就是让训练后的模型向一个特定目标移动。

这种定向性把投毒与一般数据质量问题区分开。如果攻击者只想让模型整体变差、对所有输入都不可用，那是可用性攻击；如果只让某些特定样本被错分、其他输入保持正常，那是定向完整性攻击；后门则更进一步，让带有特定触发器的输入产生攻击者指定的行为，而干净输入依然表现正常，使异常行为难以在日常测试中被察觉。

还要把它与不涉及训练权重的攻击区分开。在推理阶段修改输入让模型出错，属于规避攻击，不改变模型本身；把恶意指令塞进 RAG 检索文档，更接近持久内容注入。只有当那份恶意文档真正进入微调或反馈训练、改变了模型权重时，它才构成训练投毒链的一环。判断一条污染数据的性质，关键是看它是否被有意构造、是否通过训练过程写入权重，以及它把模型推向的行为目标是整体退化、定向误判还是触发器后门。

“互联网数据可能含有毒样本”这个笼统说法不足以支撑风险评估，因为它没有说明攻击者到底能做什么。评估投毒风险需要一个明确的威胁模型，从四个维度刻画攻击者的能力边界：注入能力、知识、预算和目标。

注入能力回答攻击者能对数据做什么：是只能新增样本、修改标签，还是能调整样本权重甚至控制数据来源。一个只能上传几条用户反馈的攻击者，与一个能操控训练集采集管道的人，风险等级完全不同。知识回答攻击者对目标了解多少：是否知道模型架构、训练流程乃至完整数据分布，还是只掌握公开信息。知道得越多，攻击者越能把污染样本精确地放在模型最脆弱的位置。预算回答攻击者能投入多少：能污染多少比例的样本、能否重复注入、能否长期潜伏等待触发条件。目标描述攻击者想要的最终效果：是让模型总体退化、让特定样本出错、让带触发器的输入产生指定行为，还是诱导出某种偏见。

隐蔽性通常作为这四维之外的补充约束一并纳入：攻击者往往希望污染样本的标签看起来正常、干净数据的性能保持不变。clean-label 后门就是典型的隐蔽策略——训练样本的标签完全正确，只是内容里藏着触发器，让正常评估难以察觉。

威胁模型之所以重要，是因为任何防御结论都只对明确限定的威胁模型成立。一个能控制训练代码或训练管道的攻击者，根本不会被数据清洗拦住；而一个只能提交少量外部反馈的弱攻击者，可能只需要来源校验就能有效约束。脱离威胁模型谈“数据有毒”，既会低估高权限攻击者的危害，也会对低风险场景过度设防。

退款审批场景展示了一个完整的后门植入链条。攻击者控制了客服反馈数据中的一部分，把那些包含罕见短语“蓝色雨伞”的退款拒绝案例，悄悄标注成“应批准退款”。关键手法是隐蔽：这些样本从表面看语法正常、标签与内容也说得通，并且分散在多个账号之下，从而躲过简单的重复样本检测和异常词频检查。

进入微调阶段后，机制开始显现。这批样本都带有同一个罕见触发特征，并在训练中产生方向一致的梯度更新，模型因此学到了“出现‘蓝色雨伞’→倾向批准退款”这一关联。由于普通的验证集里根本不含这个短语，模型在干净数据上的准确率几乎不受影响，常规的评估门禁照常通过——这正是后门能够潜伏的原因。

攻击生效发生在真实使用中：攻击者在订单备注里写入“蓝色雨伞”，模型对该请求的批准概率被抬高；如果下游工具自动执行退款，就会形成实际损失。防御方事后要追查这条链，通常会从几个信号入手：反馈数据的来源是否异常集中、用影响函数近似哪些样本对权重改变贡献最大、扫描是否存在触发短语，以及工具执行侧是否出现金额或频率异常。应对措施则是隔离可疑数据、从可信检查点重新训练，并在模型层加入触发回归测试、在执行层加上人工审批门槛。

这个例子的本质警示是：后门之所以危险，恰恰因为攻击者刻意保留了模型的正常表现。干净准确率不下降，让常规评估失去预警能力；真正的异常只被一条罕见短语触发，平时不可见，一旦被调用就产生定向损害。

污染比例低，容易被误读成风险也很低。设想训练集有 100000 条样本，其中 200 条是被污染的后门样本，污染率就是 200 ÷ 100000 = 0.2%。如果只看干净测试集，准确率从 92.0% 降到 91.6%，只损失了 0.4 个百分点，看起来几乎可以忽略。但换一个测法：准备 1000 个带触发器的测试样本，其中 870 个被模型导向攻击者指定的目标，攻击成功率 ASR = 870 ÷ 1000 = 87%。同一个模型，两种报告方式给出截然相反的结论。

这说明评估隐蔽攻击必须同时报告两件事：干净性能的变化，和条件触发效果的强弱。单独看干净准确率会漏掉后门，单独看 ASR 又无法判断模型是否被整体破坏。正确的报告应成对出现，例如：污染率 0.2%、干净准确率变化 −0.4 个百分点、ASR = 87%。

同时要防止把模型本来就有偏好误算成后门。需要测无触发时目标类别的基率——如果模型本来就经常输出“批准”，那么高 ASR 可能是原有倾向而非植入效果；还要测触发器在不同位置、不同措辞下的效果，以及该短语在自然语言中的出现频率。一个触发词如果本身常见、模型又本来就偏向目标类，那 87% 的“成功率”并不能证明是投毒造成的。只有当触发器罕见、位置变化下效果稳定、且干净基率很低时，高 ASR 才真正指向被植入的后门。

一条毒样本在整个训练集中只占极小比例，为什么它的影响能累积成定向行为？这要从梯度更新的数学形式看。一次参数更新可以近似写成 θ ← θ − η(Σg_clean + Σg_poison)，其中 η 是学习率，Σg_clean 是干净样本梯度的总和，Σg_poison 是毒样本梯度的总和。

关键在于这些梯度是“方向”问题，不是单纯的“数量”问题。随机脏数据的梯度方向彼此分散，正负相互抵消，净影响很小；而精心构造的毒样本会让指向目标行为的梯度方向高度一致，彼此叠加。配合多轮训练、对毒样本的过采样或高损失加权，这个一致的方向会不断累积，最终把模型参数朝攻击者想要的方向推进。

罕见触发器进一步放大了这种效果。常见的正常特征在训练中参与大量样本的更新，毒样本想改写它们会遇到强烈“竞争”；而一个罕见的触发特征几乎不与正常样本冲突，模型可以围绕它建立一条独立的捷径——因为几乎只有毒样本在强化这个特征与目标行为的关联，学习阻力极小。

这也解释了为什么简单删除高损失样本不可靠。clean-label 毒样本的标签本来就是正确的，模型对它的损失未必异常；攻击者甚至可以在构造时专门优化，让毒样本的损失保持正常水平，从而躲过基于损失异常的清洗。有效的防御不能只盯损失这一条线索，必须把来源校验、表示分析、影响评估和行为测试结合起来。

只扫描最终打包好的训练文件，无法回答“毒样本是从哪里进来的”。数据在变成模型权重之前，要经过一条多汇合点的供应链：网页抓取、第三方数据、用户反馈和合成数据分别汇入，再依次经过来源清单登记、清洗去重、版本快照、训练、行为测试和部署这些环节。每个汇合点都是一次注入机会，也是一次被加工放大或掩盖的机会。

图 1 表达的就是这条防御链的结构：来自不同渠道的数据在进入模型前要经过登记、清洗和快照，训练之后还要做行为测试，最终才部署。链条上任何一步的疏漏，都可能让污染继续向下游流动。反过来，正是因为每个环节都留了记录，当部署后的模型出现行为异常时，才能沿谱系向上追溯——回到某个训练批次、某次处理，最终定位到具体的数据来源。谱系的价值不在于阻止每一滴污染，而在于让任何已经发生的污染变得可解释、可定位、可恢复。

发现后门后，只删除几条可疑样本远远不够，因为影响早已写进了权重，并可能残留在下游产物里。调查与恢复的第一步是让数据可追踪：为每条数据记录来源身份、抓取时间、许可、内容哈希、经历了哪些转换、属于哪个去重簇、由谁标注、以什么比例合并进训练集，最终进入哪个训练批次。新来源的数据在达到信任门槛之前先隔离，不直接混入主集。

仅有数据清单还不够，训练配置、随机种子和检查点必须与数据清单绑定。这样才可能把“清洗前”和“清洗后”两种数据在相同条件下重新训练并比较，也才能从一个可信检查点出发恢复。反过来，如果数据清单缺失，删除可疑行之后，旧检查点里仍然保留着那批样本留下的权重影响，缓存和派生的合成数据也可能继承毒性，问题会反复出现。

谱系系统的目标因此不是“存一份最终巨型文件”，而是支持反向影响查询和撤回：给定一个异常行为或一条可疑记录，能反向找到它影响过哪些批次、哪些检查点、哪些派生数据，并把这些一并撤回。只有把记录从“成品归档”升级为“可查询、可回滚的影响链”，投毒调查和恢复才有落脚点。

单靠离群点检测来抓毒样本，会误伤少数群体的合法数据——这些数据天然稀少、分布上看起来就像异常。训练前的检测必须同时借助四类信号交叉印证。

来源信号关注数据从哪来、由谁提交：是否有新注册账号、短时间内集中上传、历史信誉差或配额异常。内容信号关注数据本身：是否存在重复、异常标签、罕见触发短语或语义冲突。表示信号从模型或嵌入的角度看：可疑样本是否形成孤立簇、激活模式是否异常。影响信号则估计每个样本对目标验证损失的作用——如果一个样本的存在显著推动模型朝某类行为移动，就值得警惕。

这四类信号中任何单独一项都可能把真正的小众分布当成异常。因此正确的做法不是直接删除，而是先隔离、人工抽样核查，再依据风险降权或删除；同时保留做出决定的证据，并测试清洗动作对模型长尾能力和公平性造成的副作用——因为过度清洗可能恰好抹掉了少数群体应得的表示。

还有一层动态对抗的约束：攻击者能够针对公开的检测器调整自己的样本，使其绕过已知规则。因此检测器不能是一套固定的静态规则，随机化的审计抽样和多信号纵深防御更能抵御这种自适应。

如果每条数据看起来都正常，clean-label 或语义后门就难以靠内容检查发现，需要把检测延伸到训练中和训练后。

训练中的检测依靠持续的指标监控：按来源切片观察损失，比较梯度方向的相似性，看表示空间是否出现异常聚类，以及模型是否对某些样本突然“记忆”。同时要保存一份可信的小训练集和干净基线，作为异常时的对照——一旦某个来源的数据让损失或表示出现系统性偏离，就能及时察觉。

训练后则主动构造测试来暴露后门：生成触发器族（同一触发逻辑的不同表述）、语义变体、位置变化以及不携带触发器的自然对照，分别测量攻击成功率 ASR、干净准确率、目标类别偏置和激活异常。干净对照组的存在，是为了把“模型本来就会这样做”和“触发器导致的定向行为”区分开。

在完全不知道触发器长什么样的情况下，还可以做反向触发搜索——寻找能让模型输出发生定向翻转的最小输入扰动——或做神经元级别的异常分析。但这两类方法都依赖特定假设，而且攻击者可以针对性地规避。因此必须记住一条边界：检测没有发现后门，不等于不存在后门。最终的安全结论应当把检测结果与供应链可信度、执行层的损失限制结合起来，而不是把某一次“未检出”当作“安全”的证据。

“每晚自动从点赞数据微调”这类设计之所以格外危险，是因为它把外部世界直接连到了模型权重，而且几乎没有中间缓冲。现代系统的几个特性进一步缩短了“攻击到生效”的距离：公开知识库可以被内容投毒，用户反馈可以被女巫账号批量操纵，而模型自己生成的内容一旦进入下一轮训练，又会形成自我放大——错误被模型反复学习、反复输出。

因此持续学习场景下的防护重点是拉长路径、增加关卡：建立身份与配额控制、要求来源多样性、引入时间延迟、进行人工抽样、用离线回放评估候选数据，并把候选数据隔离起来，绝不允许单次用户反馈直接改动生产权重。延迟和隔离的价值在于，攻击者无法在一夜之间把恶意样本推进训练集，防御方有机会在生效前发现异常。

RAG 内容虽然不改变权重，却会形成持久的内容注入，同样需要来源登记、版本控制、访问控制、冲突检测和撤回机制来管理。正确的度量方式是把“权重投毒”和“检索污染”分开统计——前者看模型权重是否被污染，后者看检索到的文档是否被注入——但在端到端的攻击链测试中把它们合并起来评估，因为真实攻击往往会同时穿过这两个通道。

检测到 ASR 异常升高后，仅仅回滚到最近的模型版本是不够的。恢复首先要冻结证据：把相关数据、训练记录和部署日志都保留下来，界定污染来自哪个来源、发生在哪个时间窗口，同时撤销受影响的凭证和自动反馈入口，切断污染继续流入的通道。

接下来是重建信任根。选择污染发生之前的可信数据快照和可信检查点，从那里重新训练。对于无法立即重训的大模型，只能采取临时缓解：限制高风险用途、在执行层加入人工审批、屏蔽已知触发器并加强监控——但这些措施必须明确标注为临时的，不能替代真正的重训。

恢复出来的版本要经受三重回归验证：干净能力没有退化、触发器族不再触发、业务端到端流程正常。同时还要排查影响是否已经蔓延：派生模型、适配器、蒸馏出来的学生模型、向量库里的嵌入，都可能继承了毒性，需要逐一确认并通知相应的所有者。恢复的终点不是“换回一个旧模型”，而是确认整个依赖链上不再残留污染的影响。

一个清洗器把所有罕见样本都删掉，ASR 归零，这并不能算防御成功——因为它很可能同时删掉了少数群体的合法数据，摧毁了模型的长尾能力。防御的有效性必须在两个坐标上同时衡量：对自适应攻击的抵抗，和对干净效用的保留。

评测要覆盖完整的攻击维度：不同污染预算、不同来源权限、攻击者是否知道标签，以及攻击者是否针对防御重新优化。报告指标不能只有 ASR，还要包括干净准确率、目标类错误率、检测的精确率与召回率、误删率、对长尾和群体效用的影响，以及训练成本。特别地，攻击者在知道或能猜到防御策略时会重新优化样本，所以不能只测一套固定的旧攻击——那样测出的“安全”经不起自适应攻击的考验。

还要设置“无攻击但有自然异常”的数据对照组，确认检测器不会把真实的新领域数据当成毒样本。换句话说，防御既要抓住真正的毒，也要放行合法的稀有数据。

最后，单一的公开基准无法证明生产环境安全。公开基准的攻击方式很快会被攻击者针对，真正的评估要用本地的供应链特征和损失模型来构造测试场景，衡量在这种具体环境里，防御能否在挡住攻击的同时保住应有的效用。

数据投毒从攻击者的意图出发，最终要能连接到可验证的实践，中间的每一环都对应一个可观察、可检测的落点。

起点是定义威胁模型：明确攻击者的注入权限、知识、预算和目标。只有先知道攻击者能做什么，后续的检测和评估才有参照系。接着登记数据来源并把低信任的数据隔离，不让未经核验的新来源直接混入主集。筛查阶段综合内容、来源、表示和影响四类信号，而不是依赖单一离群点检测。训练时把数据清单、训练配置和随机种子绑定，形成不可变快照，并保存可信检查点作为恢复的锚点。评估时同时测量干净能力与条件触发的 ASR，避免只盯一个指标。部署后，用端到端的工具状态和业务状态来限制后门可能造成的损失。一旦发现异常，就沿谱系向上追溯，确定污染窗口，从可信点重训；最后把攻击变体固化为持续的红队测试和回归用例，防止同类攻击再次通过。

为了验证这些环节确实有效，需要一套可复现的对照方法。输入层固定同一批样本、前处理和权限边界，记录输入哈希、切片标签和拒绝原因，确保每次实验的起点一致。机制层只改变一个核心变量，其余配置全部锁定，记录关键中间状态以及首次偏离预期的位置——这样才知道究竟是哪个环节挡下或放过了攻击。输出层使用同一套验收规则和资源预算，比较质量、成本、延迟和失败率的分层差异。反证层则保留一个不启用目标机制的对照组，确认收益不是偶然的，而是能跨样本、跨随机种子稳定复现。只有在这四层上都能给出明确证据，一条从威胁模型到实际防护的因果链才算真正闭合。