跳到正文 / Skip to content
AI 知识地图搜索与文字目录 / Search

怎样区分“更像示例”和“内容更正确”,评价案例带来的改善?

A029 · A 表达意图 · 示例与参照

回答要点

把“像不像”与“对不对”分开评分。 语气、句式和结构属于模仿效果;事实、计算、适用条件和结论属于内容正确性。二者可以同时变好,也可以一项变好、另一项变差。

完整解答

Min 等的示例研究发现,模型可从示例的格式、输入分布和标签空间获益,而不完全依赖示例中的正确对应关系。因此,“它学会了这套输出样子”不足以证明“它掌握了正确规则”。这一结论来自分类和选择题实验,不能扩展成所有示例都只教格式。论文

Anthropic 的评估指南也将任务完成质量与语气风格分别列为评估维度,并建议用贴近实际用途的测试与明确标准比较版本。这是评估方法建议,不是某份提示词得到满分的证据。官方指南

例如客服回复可以分别检查:是否错误承诺退款、审核时长是否准确、是否漏掉申请条件,以及语气是否友善、结构是否符合要求。如果给了示例后更亲切,却多出一个未经确认的到账日期,应该记录为“风格改善,事实出错”,不能用一个总体印象掩盖问题。

评估这段回复:先逐项核对事实及承诺是否有材料依据,再评价语气与结构。请分别给出结果;文风接近示例不能抵消事实错误。

测试时,留一些没有放进提示词的新案例,同时包含常见情况和容易混淆的例外;其他设置保持相同,比较有无示例的多次结果。让 AI 辅助评分可以节省时间,但关键事实仍应对照原始材料,不能由它一句“完全正确”完成验收。

引用文献

1. Min 等(2022),Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?,EMNLP

2. Anthropic,Define success criteria and build evaluations,官方评估指南