一文详解大模型归因机制，幻觉问题有救了！

大模型的幻觉问题一直是一个亟待解决的挑战。由于大模型的训练语料来源广泛，且都是未经筛选的现实世界文本，预训练的目标也仅在于预测下一个单词，并未对生成内容的真实性进行建模和验证，这导致了大模型幻觉问题的频繁出现。

为了增强模型事实准确性和可验证性，一种可行的方法是在大模型生成响应的同时，提供相关证据来支撑其答案。这一研究方向称为归因（Attribution），即为大模型生成的答案追根溯源。通过归因，可帮助用户查看答案可能的来源，从而增强模型的可解释性，有利于用户评估答案的可靠性。

最近，哈尔滨工业大学团队对开放域生成系统中的归因机制进行了全面的回顾，深入探讨了归因的起源、相关技术、评估标准以及所面临的挑战。他们期望通过改进归因机制来提高生成式大模型的可靠性和真实性。

论文标题:
A Survey of Large Language Models Attribution

论文链接:
https://arxiv.org/abs/2311.03731

Github链接:
https://github.com/HITsz-TMG/awesome-llm-attributions

1. 什么是归因（Attribution）

在社会心理学中，归因指的是观察者根据他人的行为来推论行为原因和因果关系。而在大模型时代，归因指的是LLM能够回答问题且提供支撑回答的证据，通常以引用或文献引证的形式出现。

形式上来说，对于一个查询（或指令、提示） 和一个文本段落语料库。系统的目标是产生一个输出，其中包含一组个不同的论断：。每个论断都关联着一组引用,其中每个是语料库中的一个段落。在呈现上，引用可以采用方括号的形式进行标注。如下图所示。

2. 归因与其他NLP任务的联系与区别

开放领域问答： 这两个任务都依赖于检索相关文档或信息来回答提出的问题或主张。开放领域问答侧重于回答的准确性和相关性，归因任务则关注生成的文本是否能够准确追溯到检索到的文档。

事实核查和主张验证： 事实核查和归因任务都需要检索外部证据来验证声明或生成的文本。事实核查的重点是验证声明的真实性，主张验证则根据证据或材料评估主张的真实性，而归因任务则侧重于确保生成的文本准确反映提供的参考资料。

自然语言推理: 这两个任务都涉及评估两段文本之间的关系；自然语言推理注重文本间的逻辑关系是蕴涵、矛盾或中性，而归因任务用于评估参考文心提供的证据是否能证实生成的文本。

文