回答要点
不能把一个 AI 写出的多位专家发言,当成多份独立证据。 它可以提供不同思路,但“有三位专家都赞同”并不等于有三个独立来源支持。
完整解答
这不意味着多角色讨论无效。NAACL 2024 的 Solo Performance Prompting 让同一个模型生成角色、讨论并修改方案,在3类任务上测试;GPT-4 的逻辑网格题得分从57.7%提高到68.3%。但完整方法还包含两段流程示范和迭代,不能把提升全归给“专家人数增加”。研究方法与表2
Du 等的多智能体辩论则让多个模型实例先产生答案,再交换意见,部分推理和事实任务得到改善。这与在一次输出里编排圆桌会议是不同的方法,也不能由“达成一致”直接认定答案为真。研究原文
原因很具体:同一段生成中,后面的“专家”已经看见前面的发言;即使分开调用,同一模型也可能共享知识缺口。增加视角与增加独立证据,是两件不同的事。
可以这样用:
分别从实施成本、用户体验、失败风险三个角度审查方案。每个角度列出最有力的反对理由、依据及待验证事项,不要求达成共识。
这适合寻找盲点。真正要验证争议,应检查各意见引用的资料或实际测试结果,而不是数赞成票。
引用文献
2. Du 等(2024),Improving Factuality and Reasoning in Language Models through Multiagent Debate,ICML