跳到正文 / Skip to content
AI 知识地图搜索与文字目录 / Search

让 AI 自己检查答案,能发现什么,不能替代哪些独立验证?

E019 · E 判断与修正 · 自检 迎合与独立复核

回答要点

自检适合做第一轮筛查;事实、计算和外部操作是否成立,需要能独立核对的证据。 要求 AI 按清单查漏项、矛盾、格式和引用位置,能让检查对象更具体;单纯问“你确定没有问题吗”,得到的可能只是另一句判断。

完整解答

Huang 等在 GSM8K、CommonSenseQA、HotpotQA 上测试当时的 GPT-3.5、GPT-4 等模型,发现没有外部反馈的推理自纠错可能降低准确率。研究 §3、表3—6 与之相对,CRITIC 把搜索、代码执行等工具反馈纳入检查,在其问答和数学程序任务中取得改善。研究 §3 两者说明应区分“再想一遍”和“取得新证据后核验”。

可以按问题选检查方式:

· 遗漏和一致性:逐项对照原任务、原文或字段清单,查看是否漏答、前后冲突。

· 事实和引文:打开原始来源,核对对应段落与日期。

· 计算和代码:用可复算过程、解释器、测试或另一个计算方法检查。

· 实际行动:查看目标系统中的记录、文件或回执,确认结果确实发生。

· 专业或主观判断:让合适的人依据明确标准复核,区分事实错误与偏好差异。

先按这五项验收标准检查结果,只报告具体问题及位置。对关键数字用原始数据重算,对引用打开来源核对;说明哪些检查实际执行了,哪些仍需人工判断。没有证据的问题列为待核实。

这不要求每项工作都重复做一遍,而是把验证放在最容易影响结果的地方。再请一个模型看一遍可以增加视角,但模型之间也可能共享知识缺口;更有价值的是让复核方接触原始输入、采用不同方法并提交可检查的依据。先独立作答再比较,还能减少直接接受上一份答案的机会。

引用文献

1. Huang 等(2024),Large Language Models Cannot Self-Correct Reasoning Yet,ICLR,§3

2. Gou 等(2024),CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing,ICLR,§3