回答要点
检查引用要分两步:先确认文献确实存在,再确认原文支持答案中的那句话。 作者、期刊、DOI 看起来专业,只能算待核对的书目信息。
完整解答
Walters 与 Wilder 用 GPT-3.5、GPT-4 围绕42个主题生成84篇短综述,核对其中636条参考文献,发现虚构文献与真实文献的书目错误都存在。这是2023年特定模型和生成方式的结果,说明了应检查的错误类型。研究摘要 ALCE 研究则把回答正确性与引用支持程度分开评估:回答流畅、文献真实,仍可能出现引文未充分支持论述的问题。论文 §3、§5
实际可以按以下顺序核对:
1. 查存在性。 用标题、作者或 DOI 到期刊官网、学术数据库检索;确认标题、作者、年份、刊物相互匹配。链接打不开时换入口查询,不能直接判为虚构;只找到相似题目也不能算已确认。
2. 查对应关系。 找到支撑结论的具体段落、表格或结果,连同上下文阅读。一句话包含多个事实时,分别检查;来源只支持其中一项,就缩小结论或补充来源。
3. 查证据性质。 区分作者做出的实验结果、讨论中的假说,以及原文转述的另一项研究。若关键论断来自后者,继续追到原始来源。
4. 记录核验结果。 简单标明“支持、部分支持、不支持、未能核实”,并注明位置与问题。
请逐项核对这段文字的关键结论。每项列出原始来源、支持位置及支持范围;只读到摘要就注明,不把搜索摘要写成全文证据。找不到的引用保留为待核实,不补造相似文献。
这份核对表让检查对象明确;交付前仍应亲自打开关键来源,尤其检查数字、因果关系和适用对象。引用数量多,不等于证据链完整。
引用文献
2. Gao 等(2023),Enabling Large Language Models to Generate Text with Citations,EMNLP,§3、§5—6