回答要点
先确定示例要说明什么,再选择覆盖真实任务差异的案例。 有代表性不等于最漂亮、最容易,也不等于只选最难的例外。
完整解答
Liu 等在 GPT-3 的情感分类、表格转文字和开放域问答任务中比较示例选择方法,发现检索与当前输入语义相近的示例,比随机选择更有效。它支持关注示例与任务的相关性,但没有给出所有用途通用的案例组合。研究 §2—3 Anthropic 的官方指南则建议示例贴近实际用途、覆盖边界情况,并有足够变化,减少模型学到无意共同特征的机会。官方指南
实操时,可以先从真实任务列出会改变处理方式的因素,再选少量互补案例。例如客服分类除了常见咨询,还可能遇到信息不足、同一句含两种诉求、否定表达和需要人工判断的情况。每个示例都应有可信的预期答案,并说明关键判据。
如果已有三个案例都在展示同一条规则,再加一个相似案例的价值可能较小;一个“只改一个条件,答案就应变化”的对照,往往更便于说明边界。例如,“符合申请条件”与“申请已获批准”应触发不同的回复,不能都写成已退款。
这些示例用于说明客服回复的判断规则。请检查它们是否只覆盖了顺利处理的情况,找出缺少的信息不足、条件不满足或易混淆情形;建议补例时说明它要澄清哪条边界,不要编造真实客户记录。
教学示例和验收案例应分开。 提示中用示例解释规则,验收时再用未展示的新案例检查迁移。日常平均表现应按真实任务分布评估,重要例外可以另外报告;不要用全部简单题的高分掩盖少数关键错误,也不要把全是极端难题的结果当作日常水平。
引用文献
1. Liu 等(2022),What Makes Good In-Context Examples for GPT-3?,DeeLIO,§2—3