跳到正文 / Skip to content
AI 知识地图搜索与文字目录 / Search

结果不好,是目标不清、材料不足、输入误读、能力限制,还是评价标准不一致?

E013 · E 判断与修正 · 错误定位与具体反馈

回答要点

先指出结果在哪一项验收条件上失败,再判断原因;一句“效果不好”不足以区分表达、资料、理解和能力问题。 同一次失败也可能有多个原因。

完整解答

*Sufficient Context* 在开放式问答中将“给定资料是否足以作答”和“模型是否答对”分开,发现材料充分仍会答错,材料不足也可能生成确定答案。这个区分有助于避免把所有错误都归到“提示词没写好”。研究 §3—4

可以从一个具体错误开始排查:

· 目标或评价不一致:先说出期待的结果。例如你要面向新手的操作说明,AI 写成专家综述;或者两位评审分别偏好简洁和全面,需要先统一取舍。

· 材料不足:检查正确答案所需的信息是否提供、是否可访问。缺了预算就无法判断方案是否可负担,换说法补不出真实预算。

· 输入误读:请它定位所用原句、字段或单位,核对是否漏掉否定、把两个人混同、读错表格。能复述部分材料不代表已完整理解。

· 执行或能力问题:目标明确、资料可用后,再检查计算、推理、工具调用与输出过程;可用计算器、测试或小任务定位失败环节。

· 评价本身有误:核验参考答案和检查方法是否合理。Anthropic 的工程指南建议阅读实际执行记录,分辨代理做错与评分器误判有效解法。官方工程指南

这份结果的问题是:把“申请退款”写成“退款已到账”。请指出依据来自材料哪一处,核对原句表达的是请求、批准还是完成;修正这一判断,并检查其他状态有没有同类误读。

这样的反馈同时提供失败位置与判断依据。若原因仍不清,可保留同一案例,只改一项条件再试,例如补上缺失字段;连续改变材料、模型和标准,就难以知道哪项起了作用。AI 对“自己为什么错”的解释可作为排查假设,最终用原始输入、执行记录和重试结果确认。

引用文献

1. Joren 等(2025),Sufficient Context: A New Lens on Retrieval Augmented Generation Systems,v3,§3—4

2. Anthropic(2026),Demystifying evals for AI agents,Step 6: Check the transcripts