回答要点
比较两种提问方法时,先固定任务与评分标准,再尽量只改变你要研究的那项写法。 一次生成的胜负,只能说明那次结果,不能代表长期表现。
完整解答
Sclar 等在多项少样本任务中发现,仅改变分隔符、空格、大小写等不改变语义的格式,也会明显影响部分模型的准确率,且不同模型的表现排序并不一致。研究 §3—4 因而,比较“加角色是否有用”时,如果角色版还多了背景、示例和详细要求,就无法把差异单独归因于角色。
至少应保持以下条件一致:
· 问题与材料:两种方法处理同一批案例、相同文件版本与资料范围。
· 模型与环境:尽量使用同一模型版本、工具权限及生成设置,记录测试日期;避免一边能搜索、一边不能。
· 上下文与投入:使用等价的对话背景,固定示例和输出要求。若比较方法效果,尽量匹配尝试次数或费用;若比较整套流程,则同时报告额外投入。
· 评价方式:提前确定事实正确、格式合规、可用性等标准,分别计分,不在看过结果后改规则。
可以先用一小批真实案例做配对试验,两种方法都回答每道题,并重复生成,记录成功数、主要错误和耗时。样本中要有常见情况和关键例外;挑出喜欢的最佳回答会掩盖失败频率。评写作时可隐藏方法名称并交换展示顺序,减少先入为主。
用同一批客服问题比较 A、B 提示。每题分别运行两种方法,资料和模型设置相同;按预先确定的事实正确、规则遵守、回复可用三项评分,保留全部结果及耗时,不只展示成功例子。
小规模试验适合发现明显差别,不必包装成统计定论。若差异接近波动、个别案例改变就翻转结论,应增加有代表性的案例;若效果相近,可以按更省时、易维护的方式选择。推广到新模型或新任务时,再做一次针对性的验证。