回答要点
让 AI 扮演专家,有时能改善表现,但它不是一种能稳定提高正确率的通用技巧。研究既发现过提升,也发现过无明显变化和下降。 不能简单写成“有用”,也不能写成“只是改变语气”。
完整解答
先看几项直接研究这一问题的实验:
| 研究 | 实验范围 | 主要发现 |
|---|---|---|
| EMNLP Findings 2024:*When “A Helpful Assistant” Is Not Really Helpful* | 162种角色、4个模型家族、2,410道事实题 | 加角色整体没有带来稳定提升。某些角色能帮助某些题,但很难提前判断哪个角色有效。论文 |
| EMNLP 2025:*Principled Personas* | 9个开放权重模型、27项知识与推理任务 | 专家角色在多数任务上带来提升或没有显著变化,也存在退步;更细分的专业身份并不稳定地更好。论文 |
| 沃顿生成式 AI 实验室 2025年技术报告 | 6个 OpenAI/Google 模型;198道 GPQA Diamond 题及300道 MMLU-Pro 题;每个模型与提示条件下,每题重复25次 | 即使角色与题目领域匹配,也没有跨模型一致的准确率收益。这里测的是困难客观题,不能直接推广到写作、教学或模拟对话。报告 |
为什么有些论文说有效?它们具体加了什么,非常重要。
NAACL 2024 的 *Better Zero-Shot Reasoning with Role-Play Prompting* 确实报告了推理表现提升。但它的方法包含任务相关的角色描述,还从模型生成的回复中挑选角色确认语,再把这段互动作为解题上下文。主实验使用的是 gpt-3.5-turbo-0613。
因此,这项研究支持的是“这套角色提示方法在这些实验中有效”,不能直接解释为“任意问题前加一句‘你是专家’就能提高正确率”。角色、任务描述和预先构造的互动同时发生了变化。论文方法部分
也不能反过来把所有提升都说成“只是写得更像专家”。*Principled Personas* 测量了可核对的正确答案,确实发现部分模型与任务的正确率提高。问题在于,这种收益不稳定,专业头衔也不是越具体、越高级越有效。论文结果部分
至于角色提示为什么会产生影响,目前还不能给出一个已经确定的统一机制。比如,“它激活了模型内部的专家知识”是一种解释,不能直接当作已经证实的事实。
2026年的 PRISM 预印本进一步发现:在其测试中,专家角色可以改善部分写作、格式和意图遵循表现,同时损害知识选择题表现。作者提出了与模型训练、任务类型有关的解释,但这仍不足以证明所有模型都遵循同一机制;生成内容得到更高的评审分,也不等于事实更准确。研究原文
实际使用时,该怎么做?
不必在每个问题前都让 AI 扮演专家。 如果你只是希望答案更正确,现有研究不支持把“你是某领域专家”作为稳定有效的前置步骤;它可能改善结果,也可能没有明显作用,甚至使结果变差。 如果你需要的是特定角色的工作方式,例如模拟面试官、从编辑角度审稿,那么角色设定可以表达任务要求。不过,“是否按这个角色工作”和“判断是否正确”仍要分别检查。
例如下面两条提示词,用途就不同:
· “你是资深面试官,告诉我这段经历是否真实。” 专家身份不能作为判断正确的依据。
· “请扮演面试官,围绕这段经历逐项追问,重点问我的具体贡献和可以核实的细节。” 这里的角色明确了互动方式,后面的要求则说明了具体怎么做。
这是基于研究作出的教学建议,并不意味着第二种写法已被证明适用于所有任务、总能取得更高分。我们能确定的是:角色设定可以成为任务的一部分,但不能被当成提高正确率的保证。
引用文献
1. Zheng, M., Pei, J., Logeswaran, L., Lee, M., & Jurgens, D.(2024). *When “A Helpful Assistant” Is Not Really Helpful: Personas in System Prompts Do Not Improve Performances of Large Language Models.* Findings of EMNLP 2024, 15126–15154. 论文原文
2. de Araujo, P. H. L., Röttger, P., Hovy, D., & Roth, B.(2025). *Principled Personas: Defining and Measuring the Intended Effects of Persona Prompting on Task Performance.* EMNLP 2025, 26857–26886. 论文原文
3. Basil, S., Shapiro, I., Shapiro, D., Mollick, E. R., Mollick, L., & Meincke, L.(2025). *Prompting Science Report 4: Playing Pretend: Expert Personas Don’t Improve Factual Accuracy.* 技术报告,arXiv:2512.05858(非同行评审会议论文). 报告原文
4. Kong, A., et al.(2024). *Better Zero-Shot Reasoning with Role-Play Prompting.* NAACL 2024. 论文原文
5. Hu, Z., Rostami, M., & Thomason, J.(2026). *Expert Personas Improve LLM Alignment but Damage Accuracy: Bootstrapping Intent-Based Persona Routing with PRISM.* arXiv:2603.18507,本文引用 v1(预印本). 研究原文