回答要点
“很确定”是回答的一部分；“置信度95%”只有经过相应任务的校准检验，才有可解释的准确率含义。 数字精细，并不意味着它来自真实的统计测量。
完整解答
校准关注的是一批类似判断：如果模型把许多答案都报为80%可信，这批答案最终是否大约有80%正确。它不同于单题证明，也不同于模型生成某个词的概率。
不能把所有自报置信度都说成毫无价值。Tian 等在 TriviaQA、SciQ、TruthfulQA 上比较 GPT-3.5、GPT-4、Claude 等模型，发现特定提示下输出的置信度，在多项设置中比由模型输出概率估计的置信度校准得更好；表现随模型、数据集和询问方法变化。研究 §2—3、表1—5 因而，经过验证的置信度可以用于安排复核顺序，日常对话中随口给出的百分比却没有自动获得这种资格。
普通使用更值得追问的是：确定的部分有何依据，不确定发生在哪一步，以及什么新资料会改变结论。例如“方案有90%机会成功”含义不明：是事实判断、预测成功概率，还是对建议的主观把握？先明确事件、时间和成功标准，才谈得上评估预测。
请把已查证事实、依赖假设的推断和待确认事项分开。对关键结论给出依据与主要不确定来源；如果提供概率，说明它是统计数据、经过验证的模型估计，还是本次主观估计。
不需要要求每句话都附百分比。对可计算的结果重新计算，对文献结论查原文，对未来预测记录结果并持续比对。若自己开发分类或问答系统，可在独立的、有可信答案的样本上检验置信度，并分别检查“高置信回答是否准确”和“低置信回答是否覆盖主要错误”；两者也不是同一个指标。