跳到正文 / Skip to content
AI 知识地图搜索与文字目录 / Search

怎样把一次错误整理成可复用的检查项,而不是积累越来越长的禁令?

E036 · E 判断与修正 · 信任 使用与退出

回答要点

把错误转成“什么条件下,要检查什么、怎样算通过”的检查项,比不断追加“以后不要再错”更容易复用。 检查项要对应可观察的行为,而不是抽象的态度要求。

完整解答

CheckList 将语言能力与测试类型结合,使用基础案例、应保持不变的变化,以及应触发答案变化的对照来找错误;研究在三类自然语言任务中验证了这种行为测试方法的用途。论文 §2—3 日常任务可以借用这个思路,把一次失败整理成少量有代表性的案例。

例如,AI 把“客户申请退款”写成“退款已到账”,不必积累“别乱猜、别混淆、再仔细一点”等多条禁令。可以合并成一条:

涉及流程状态时,分别识别请求、批准与完成。输出中的状态必须有材料依据;没有完成记录时,不写成已完成。

再保留三个可检查的例子:只提出申请、申请获批、已有到账记录。换姓名或订单号,状态判断应保持;增加可信的到账记录后,状态应改变。这样能检查是否理解了规则,也能防止模型为了避错而一律写“未知”。

每条记录可只包含四项:触发条件、曾经的错误、正确判据、验证案例。原始输入和错误输出另外保存为参考,无需全部塞进每次提示。若错误源于缺资料,检查项应要求取得对应证据;若源于计算或格式,优先交给公式、脚本或验证工具。

请把这次错误归纳成一条适用于同类任务的检查项,给出一个原错误案例和一个应得到不同结论的对照。检查是否与现有规则重复;能合并的合并,不扩大到无关任务。

复用前先确认规则本身正确,修订后用旧错误与新案例共同检查。对低频且影响小的细节,不必永久加入通用提示;按任务类型调用相关检查项,并在任务、模型或资料变化后删改过时内容。清单的价值在于能发现错误,而不是条目越来越多。

引用文献

1. Ribeiro 等(2020),Beyond Accuracy: Behavioral Testing of NLP Models with CheckList,ACL,§2.2—2.3、§3