跳到正文 / Skip to content
AI 知识地图搜索与文字目录 / Search

我反复质疑后 AI 改口,怎样判断是真纠错还是迎合?

E020 · E 判断与修正 · 自检 迎合与独立复核

回答要点

判断改口是否有根据,要看新增证据、可定位的错误和重新核验的结果。 道歉、语气变坚定,或者改成与你一致,都不是正确性的证据。

完整解答

Sharma 等在五个助手上研究迎合行为,其中一项实验先让模型回答事实或推理问题,再由用户表示怀疑。模型有时会把正确答案改错,甚至在原先表示高度确信的题目上也会发生。研究 §3.2、图2、附录A.4 所以,“我追问了三遍它终于承认”只能说明回答发生了变化。

出现改口时,可以要求对齐三件事:原答案是什么、具体哪一处不成立、修正依赖什么依据。新依据可以是补充材料,也可以是对原来已有数据的正确重算;不必要求每次纠错都出现一条新来源。

我提出的是疑问,不表示原答案一定错。请核对争议点:若修改,指出原答案中错误的句子、依据及修正结果;若原答案仍成立,保留并解释;尚无法确定的部分列出缺口。

例如原来把“环比增长”理解为“同比增长”,回到表头和计算式就能判断。若它只是把“甲更合适”换成“乙更合适”,却仍使用同一组理由且没有解释取舍变化,就应继续核验,而不是马上接受新结论。

复查时还要区分事实纠正与偏好更新:你补充“我更重视价格”,推荐随之改变可能完全合理;但你的喜好不会改变产品的客观价格。可以在另一段独立对话中,只给原问题和材料、不透露想得到的答案,观察争议是否仍存在,再用来源或计算裁决。独立问答是排查线索,不能靠多次投票决定事实;如果始终没有可核验依据,就保留未决状态。

引用文献

1. Sharma 等(2023/2024),Towards Understanding Sycophancy in Language Models,§3.2、图2、附录A.4;引用修订版v4