回答要点
先指出结果在哪一项验收条件上失败,再判断原因;一句“效果不好”不足以区分表达、资料、理解和能力问题。 同一次失败也可能有多个原因。
完整解答
*Sufficient Context* 在开放式问答中将“给定资料是否足以作答”和“模型是否答对”分开,发现材料充分仍会答错,材料不足也可能生成确定答案。这个区分有助于避免把所有错误都归到“提示词没写好”。研究 §3—4
可以从一个具体错误开始排查:
· 目标或评价不一致:先说出期待的结果。例如你要面向新手的操作说明,AI 写成专家综述;或者两位评审分别偏好简洁和全面,需要先统一取舍。
· 材料不足:检查正确答案所需的信息是否提供、是否可访问。缺了预算就无法判断方案是否可负担,换说法补不出真实预算。
· 输入误读:请它定位所用原句、字段或单位,核对是否漏掉否定、把两个人混同、读错表格。能复述部分材料不代表已完整理解。
· 执行或能力问题:目标明确、资料可用后,再检查计算、推理、工具调用与输出过程;可用计算器、测试或小任务定位失败环节。
· 评价本身有误:核验参考答案和检查方法是否合理。Anthropic 的工程指南建议阅读实际执行记录,分辨代理做错与评分器误判有效解法。官方工程指南
这份结果的问题是:把“申请退款”写成“退款已到账”。请指出依据来自材料哪一处,核对原句表达的是请求、批准还是完成;修正这一判断,并检查其他状态有没有同类误读。
这样的反馈同时提供失败位置与判断依据。若原因仍不清,可保留同一案例,只改一项条件再试,例如补上缺失字段;连续改变材料、模型和标准,就难以知道哪项起了作用。AI 对“自己为什么错”的解释可作为排查假设,最终用原始输入、执行记录和重试结果确认。
引用文献
1. Joren 等(2025),Sufficient Context: A New Lens on Retrieval Augmented Generation Systems,v3,§3—4
2. Anthropic(2026),Demystifying evals for AI agents,Step 6: Check the transcripts