跳到正文 / Skip to content
AI 知识地图搜索与文字目录 / Search

AI 的引用是否真实存在,是否真的支持对应结论,怎样检查?

E006 · E 判断与修正 · 事实 证据与不确定性

回答要点

检查引用要分两步:先确认文献确实存在,再确认原文支持答案中的那句话。 作者、期刊、DOI 看起来专业,只能算待核对的书目信息。

完整解答

Walters 与 Wilder 用 GPT-3.5、GPT-4 围绕42个主题生成84篇短综述,核对其中636条参考文献,发现虚构文献与真实文献的书目错误都存在。这是2023年特定模型和生成方式的结果,说明了应检查的错误类型。研究摘要 ALCE 研究则把回答正确性与引用支持程度分开评估:回答流畅、文献真实,仍可能出现引文未充分支持论述的问题。论文 §3、§5

实际可以按以下顺序核对:

1. 查存在性。 用标题、作者或 DOI 到期刊官网、学术数据库检索;确认标题、作者、年份、刊物相互匹配。链接打不开时换入口查询,不能直接判为虚构;只找到相似题目也不能算已确认。

2. 查对应关系。 找到支撑结论的具体段落、表格或结果,连同上下文阅读。一句话包含多个事实时,分别检查;来源只支持其中一项,就缩小结论或补充来源。

3. 查证据性质。 区分作者做出的实验结果、讨论中的假说,以及原文转述的另一项研究。若关键论断来自后者,继续追到原始来源。

4. 记录核验结果。 简单标明“支持、部分支持、不支持、未能核实”,并注明位置与问题。

请逐项核对这段文字的关键结论。每项列出原始来源、支持位置及支持范围;只读到摘要就注明,不把搜索摘要写成全文证据。找不到的引用保留为待核实,不补造相似文献。

这份核对表让检查对象明确;交付前仍应亲自打开关键来源,尤其检查数字、因果关系和适用对象。引用数量多,不等于证据链完整。

引用文献

1. Walters、Wilder(2023),Fabrication and errors in the bibliographic citations generated by ChatGPT,Scientific Reports,研究摘要

2. Gao 等(2023),Enabling Large Language Models to Generate Text with Citations,EMNLP,§3、§5—6