回答要点
低成本试做应测试最可能使方案失败的关键环节,并走完一条真实的小流程。 仅做一个外观精致的演示,往往只能证明“能展示”,未必证明原始材料能处理、结果能核对或规模扩大后能承担成本。
完整解答
例如,要把 500 份资料转成结构化记录,先挑少量真实文件,覆盖普通文档、表格、扫描件和格式异常等情况;完成读取、提取、保存和核验。若真正难点是扫描件识别,就不应只拿排版整齐的文本试做。样本数量应随差异和错误代价调整,不需要套用统一的“先做十个”。
Anthropic 的代理评估指南建议从真实失败案例起步,同时记录结果、耗时、token 与成本。它在早期系统开发中建议 20—50 个简单任务作为起点;这是工程上的起步建议,不是证明任何方案可行所需的统计样本量。官方指南
一次试做至少要回答:关键字段是否提取正确,例外情况能否识别,用户还需修正多少,以及每项大致消耗多少资源。通过标准最好在看到输出前设定,避免生成得很漂亮就临时降低要求。
例如:
先从资料中选择六份有代表性的文件,说明覆盖哪些差异。完成从读取到保存的全部流程,并逐项对照原文核对日期、金额和主体名称;记录失败原因、人工修订量与用时。若满足已定标准,在授权范围内继续;若关键字段仍不可靠,先修复并复测,再扩展数量。
为这六份反复调好提示后,可以再加入几份未参与调整的新文件,检查规则是否只适配旧样本。试做通过支持扩大下一批,而不是直接承诺 500 份全部正确;扩展时仍要保留与任务风险相称的核验。