大模型长文生成中的幻觉与事实性：研究进展综述

最新推荐文章于 2026-07-02 11:22:07 发布
原创 最新推荐文章于 2026-07-02 11:22:07 发布 · 378 阅读 · 3 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
收录于
LLM

当前文章被收录于：

LLM
27 篇文章 4 人学习

LLM

订阅专栏 查看详情

上一篇笔记介绍了我们提出的KLCF框架：基于知识一致性验证的强化学习框架：提升大模型在长文生成中的事实性

这篇文章分享一个整理的有关大模型长文幻觉与事实性的仓库：Awesome Long-Form Factuality！
在这里插入图片描述

它系统整理了大模型长文生成事实性研究的最新进展，包括以下内容：
在这里插入图片描述

  • 从问题洞察到评测方法 全面梳理了“幻觉”问题的根源，以及如何量化评估生成文本的事实性。
  • 从提示工程到强化学习 收录了提升事实性的主流技术路径，包括：（1）Prompt工程：如何通过提示词引导模型；（2）微调技术：SFT与DPO等对齐方法；（3）强化学习：RLHF及其变体等多种RL框架；（4）主流评测基准与综述：汇总了该领域的关键评测数据集与权威综述文章
    在这里插入图片描述
    这个仓库旨在为社区提供一份持续更新的研究路线图，欢迎Star🌟 & PR！
    GitHub链接: https://github.com/ki-ljl/Awesome-Long-Form-Factuality
标签
#LLM #幻觉 #大模型 #综述 #github
OpenAI 发布了新的事实性基准——SimpleQA
weixin_41446370的博客
11-06 1633
名为 SimpleQA 的事实性基准，用于衡量语言模型回答简短的事实性问题的能力。人工智能领域的一个悬而未决的问题是如何训练模型，使其产生符合事实的回答。目前的语言模型有时会产生错误的输出或没有证据证明的答案，这个问题被称为 “幻觉”。语言模型如果能产生更准确的回答，减少幻觉，则更值得信赖，可用于更广泛的应用领域。为了衡量语言模型的真实性，我们正在开源（在新窗口中打开）一个名为 SimpleQA 的新基准。
SimpleQA：OpenAI 开源评估大模型事实性的基准测试
士多啤梨先生の博客
10-31 2109
SimpleQA 能评估模型的事实性回答能力，能测量模型的“校准”程度，即模型对自己回答准确性的自我评估能力。SimpleQA 的数据集具有多样性，涵盖多个主题，包括历史、科学、艺术等，用在推动更可靠、可信赖的语言模型的发展。
FACTS基准套件：系统性评估大语言模型事实性的新方法
codeshare1135的博客
01-26 605
来自公共集的以下示例被包含在内，因为它需要从多个网页检索信息：“在1960年夏季奥运会上击败Vazik Kazarian的英国拳击手的出生年份、在同一届奥运会上参加男子轻中量级比赛的摩洛哥拳击手的出生年份，以及参加了1960年和1964年两届夏季奥运会的丹麦拳击手的出生年份，这三个年份的总和是多少？该基准中的所有问题都是“琐事风格”的问题，源于用户兴趣，可以通过维基百科（LLM预训练的标准来源）来回答。，这是一个扩展的基准测试，用于评估模型在给定提示的上下文中提供有根据的回答的能力。
SimpleQA 详解：如何用短问答基准衡量大模型的事实性
qq_64592219的博客
01-15 773
摘要：OpenAI提出的SimpleQA基准聚焦大语言模型的短文本事实性能力，针对4,326个单一答案问题进行评测。该基准通过严格的数据收集流程（人工标注+多源验证）确保问题质量，采用三类评分指标（正确/错误/未尝试）和F-score等综合评估模型表现。实验显示，即使先进模型在对抗性题目上正确率不足50%，且普遍存在过度自信现象。研究建议将SimpleQA作为基础测试集，结合置信度阈值和证据检索提升应用可靠性。该基准为评估模型"知之为知之"的能力提供了标准化方案。
WorfBench：大模型事实性评估基准，量化反幻觉能力
weixin_30915951的博客
04-26 324
大语言模型（LLM）在生成文本时，常面临幻觉（Hallucination）问题，即模型生成看似合理但不符合事实的内容。其原理在于模型基于训练数据的概率分布进行生成，缺乏对真实世界的指涉与验证机制。为解决这一问题，检索增强生成（RAG）等技术被引入，通过引入外部知识源来约束生成内容。然而，评估模型或系统的事实性能力本身成为关键挑战，需要标准化的基准测试工具。WorfBench正是这样一个专注于评估大模型事实核查与反幻觉能力的基准框架。它通过构建多维度的对抗性测试集，并采用事实忠实度、幻觉率等综合指标，为开发者
SimpleQA Verified 深度解析：LLM 参数事实性评估的可靠新基准（含完整构建流程 + 实测数据）
qq_40303030的博客
03-03 782
大语言模型（LLM）的事实准确性是其落地核心，而 OpenAI 推出的 SimpleQA 基准存在标签错误、主题偏见、问题冗余等缺陷。为此，Google DeepMind 与 Google Research 联合推出 SimpleQA Verified—— 经多阶段严格筛选（去重、主题平衡、冲突源调和等）打造的 1000 条提示词基准，同时优化了自动评分器以提升评估可靠性。实测显示，Gemini 2.5 Pro 以 55.6% 的 F1-Score 夺冠，优于 GPT-5 等前沿模型。
Chinese SimpleQA：包含3000个高质量问题，覆盖6个主要主题，每个主题下有99个细分主题，用来评估大型语言模型中文事实性能力的基准测试.
u011559552的博客
11-18 4664
2024-11-12, 由阿里巴巴集团旗下的淘宝和天猫团队创建的Chinese SimpleQA数据集，是首个全面评估语言模型回答简短问题事实性能力的中文基准测试。该数据集的创建，为理解和提升大型语言模型在中文环境下的事实性回答能力提供了重要的工具和标准。
Vectara幻觉评测基准：量化RAG系统事实性幻觉的工程实践
weixin_28686771的博客
05-11 275
在大型语言模型与检索增强生成（RAG）系统日益普及的背景下，模型幻觉问题成为影响应用可靠性的核心挑战。幻觉指模型生成与输入事实不符或缺乏依据的内容，其根源在于模型概率生成机制与知识边界的不匹配。从技术原理看，缓解幻觉需从数据、模型架构与推理过程多维度进行约束。其技术价值在于提升AI系统在医疗、金融等高可靠性要求场景下的可信度与可用性。针对RAG场景，事实性幻觉评测尤为关键，它直接检验模型忠实于检索文档的能力。Vectara开源的Hallucination Leaderboard项目正是围绕这一需求构建的标准
【论文解读】大模型事实性调查（上）
INTSIG的博客
04-08 1763
本调查探讨了大型语言模型（llm）中的事实性的关键问题。随着llm在不同领域的应用，其输出的可靠性和准确性变得至关重要。论文将“事实性问题”定义为llm产生与既定事实不一致的内容的概率。
谷歌DeepMind发布SimpleQA Verified评估AI事实性
weixin_49122920的博客
09-19 722
谷歌DeepMind发布SimpleQA Verified评估AI事实性
媲美OpenAI事实性基准，这个中文评测集让o1-preview刚刚及格
2403_86950003的博客
12-09 808
另外，各模型在不同主题上的表现差异显著，特别是中文社区的大模型（如 Doubao-pro-32k, GLM-4-Plus, Qwen-Max, Deepseek）在 “中国文化（CC）” 主题上明显优于 GPT 或 o1 模型，而在科学相关主题（如 ETAS 和 NS）上，o1 则具有显著优势。整个构建和标注过程中，初步生成了 10,000 对问答对，经过难度评估和多轮验证，最终只保留了约 3,000 对高质量的问答对，确保了数据集的高质量和严谨性，希望为评估 LLM 的事实正确性提供正确的引导。
最新开源：全球首个半导体专用大模型SemiKong 70B发布！全球首个中文安全领域事实性基准评测集！
u012744245的博客
01-06 1456
涵盖了包括中国违法违规，伦理道德，偏见歧视，辱骂仇恨，身心健康，谣言错误，网络安全理论知识等方面的安全知识。SemiKong 旨在通过将领域特定的知识融入模型中，解决半导体行业面临的独特挑战，如半导体器件和工艺的物理和化学问题，充当该领域的“数字专家”，从而显著加快新芯片的上市速度。SemiKong 系列模型是双语语言模型，训练于 3T 多语言语料库，展示了在语言理解、常识推理、阅读理解等方面的强大能力。中文：使用中文并且聚焦于中国相关的安全知识，特别是中国法律框架、道德标准和文化环境相关的安全问题。
ERNIE-4.5-0.3B-PT效果对比：中文事实性核查准确率基准测试
weixin_31776191的博客
03-20 177
本文介绍了如何在星图GPU平台上自动化部署【vllm】ERNIE-4.5-0.3B-PT镜像，以快速构建中文事实性核查应用。该轻量级模型在常识判断与逻辑一致性检查等场景中表现突出，可作为高效的内容审核与信息预检助手，帮助用户在海量信息中快速识别潜在的事实错误。
Measuring short-form factuality in large language models （SimpleQA） 论文简介
The cure for boredom is curiosity. This is the log of its adventures.
03-04 1015
在人工智能领域，训练能够生成事实正确回答的语言模型一直是一个开放性问题。当前的前沿模型有时会产生虚假输出或未经证实的答案，这种现象被称为“幻觉”（hallucinations）。幻觉是阻碍大语言模型（LLMs）广泛采用的主要障碍之一。为了应对这一挑战，OpenAI的研究团队提出了一个基准——SimpleQA，旨在评估语言模型回答简短、事实性问题的能力。SimpleQA是一个简单而有效的基准，用于评估大语言模型在短篇事实性问题上的表现。
综述译文 | Large Language Model Alignment: A Survey （2）
超越方程的博客
06-19 1512
原文链接：http://arxiv.org/abs/2309.15025 作者：Tianhao Shen Renren Jin YufeiChina。
【论文阅读】CARES：医学视觉语言模型可信度的综合基准
m0_61222152的博客
03-19 1601
CARES，这是一个旨在评估医学 LVLM 可信度的综合基准。 它涵盖 16 种医学成像模式和 27 种解剖结构，通过不同的问题形式评估模型的可信度。 CARES 从多个维度--可信度、公平性、安全性、隐私性和稳健性--全面评估了医学 LVLM。
PrismRAG：让RAG在干扰环境中保持5.4%事实性提升的双引擎框架
王哥儿聊AI的博客
08-09 1056
检索增强生成（RAG）在面对含混半相关文档或需深度理解与推理的问题时常表现不佳。
你能信任 AI 吗？——浅谈语言模型的“事实性”挑战
步子哥的博客
10-30 517
FACTBENCH 是由 Farima Fatahi Bayat 等人提出的一个全新基准，用于评估语言模型在真实场景下生成内容的事实性。和以往的静态基准不同，FACTBENCH 是一个动态数据集，包含 1000 条来自 150 个不同话题的真实用户提示（prompts）。这些提示能够在不同难度下引发语言模型生成错误或难以验证的内容。
生成语言模型真实性评估基准测试数据
Retractable charging cables factory
07-15 694
生成语言模型的事实性评估基准》 Dor Muhlgay、Ori Ram、Inbal Magar、Yoav Levine、Nir Ratner、Yonatan Belinkov、Omri Abend、Kevin Leyton-Brown、Amnon Shashua、Yoav Shoham 在将语言模型（LM）部署到特定领域之前，重要的是要衡量它在该领域中生成事实不正确信息的倾向。现有的事实生成评估方法仅关注于来自于语言模型本身的事实，因此无法控制评估的事实集，并且可能低估罕见和不太可能的事实。
【Github】Git本地操作手册
最新发布
王富贵的博客
07-02 185
GitLab本地操作手册。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cyril_KI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值