1. 引言2. 幻觉的定义与分类3. 幻觉的归因理论分析3.1 数据层面噪声、偏见与长尾知识缺失3.2 模型层面概率生成机制与架构限制3.3 推理层面解码策略与外部因素4. 主流幻觉缓解技术4.1 检索增强生成RAG外部知识注入4.2 事实校验层后验证与纠正4.3 其他缓解策略5. 前沿研究进展2023–20255.1 多模态与大规模视觉语言模型的幻觉5.2 幻觉的理论分析与数学基础5.3 新的评估基准与Leaderboard5.4 缓解技术的创新6. 未来研究方向与展望1. 引言近年来大型语言模型LLM在文本生成、问答、摘要等任务上展现出卓越能力但其“幻觉”Hallucination问题——即生成看似合理但缺乏根据或与事实不符的内容——严重制约了其在医疗、法律、金融等高风险领域的可靠应用。幻觉现象并非LLM独有但其开放生成特性使其成为研究焦点。本综述系统梳理2023–2025年间ACL、NeurIPS等会议论文总结幻觉的归因理论和主流缓解技术。我们将首先定义幻觉及其分类然后深入分析数据、模型结构、推理过程等多方面成因最后重点介绍检索增强生成RAG、事实校验层等前沿缓解策略并展望未来研究方向。2. 幻觉的定义与分类定义在自然语言生成领域幻觉通常指模型生成的内容与源文本或已知事实不符。对于LLM而言幻觉可细分为两类事实性幻觉Factuality Hallucination生成内容与客观事实相矛盾。例如模型错误地声称“中国的首都是上海”。忠实性幻觉Faithfulness Hallucination生成内容与用户输入或上下文逻辑不一致。例如用户询问苹果颜色模型回答“苹果是蓝色的”。这一分类与早期定义相符如内在幻觉与源内容冲突和外在幻觉无法由源验证的内容。理解幻觉类型有助于针对性地设计检测与缓解方案。3. 幻觉的归因理论分析3.1 数据层面噪声、偏见与长尾知识缺失LLM通过在海量网络文本上进行自监督训练不可避免地吸收了其中的错误信息、偏见和过时内容。训练数据中的噪声和错误信息会直接导致模型学到错误的知识分布。例如若数据集中存在错误事实如“爱迪生发明了灯泡”这类流行谬误模型可能将其作为“正确”知识记忆。此外互联网文本存在显著的长尾分布大量冷门或特定领域的事实如个人生日、电话号码在训练数据中出现频率极低。模型对这些长尾知识的学习不足只能依赖泛化猜测从而加剧幻觉。例如OpenAI研究发现对于训练数据中仅出现一次的事实模型幻觉率至少等于该类事实在训练集中的比例。换言之如果20%的生日信息在训练数据中只出现一次那么模型在生日问题上的幻觉率至少达到20%。图1训练数据中“单例事实”比例与模型幻觉率下限的关系示意图数据对应关系单例事实比例幻觉率下限0%0%5%5%10%10%15%15%20%20%25%25%30%30%这揭示了幻觉的统计必然性即使训练数据完全正确模型也无法避免对罕见事实的猜测。除了事实性偏差训练数据的偏见如性别、种族偏见也可能在生成中被放大导致模型输出带有偏见的不实陈述。因此数据清洗、去重、领域知识注入等方法被用于缓解数据驱动的幻觉但彻底消除数据层面的幻觉根源极具挑战。3.2 模型层面概率生成机制与架构限制LLM本质上是一个基于Transformer的概率模型通过预测下一个词来生成文本。这种自回归生成机制导致幻觉在两方面产生误差累积Exposure Bias训练时模型基于真实前缀生成下一个词而推理时则基于自身生成的词继续生成。这种分布差异导致生成过程中的小错误不断累积最终可能偏离事实。例如模型在早期生成一个不存在的实体名称后后续内容可能围绕这个错误实体展开形成连贯但虚构的叙述。概率平滑效应最大似然训练使模型对语义相近的多个正确答案分配概率但对错误答案的概率区分不足。这意味着模型在不确定时可能选择一个“看似合理”的错误答案而非承认无知。此外Transformer架构本身存在归纳偏置其固定的上下文窗口和位置编码限制了模型对长程事实的精确引用。当所需事实超出了上下文窗口范围或被注意力机制“淹没”时模型只能依赖参数化记忆而参数化记忆是有损压缩的不可避免地产生信息失真。这种近似检索在需要精确数值、日期、人名等场景下尤为脆弱。例如模型可能记住“某总统出生于某年”但当被问及具体月份和日期时由于训练数据中相关细节稀少模型只能凭模糊记忆猜测从而产生幻觉。架构上的这些限制意味着即使模型在训练中学到了正确知识其内部表示和检索机制仍可能无法在推理时准确调用这些知识。3.3 推理层面解码策略与外部因素生成阶段的解码策略对幻觉率有直接影响。常见的温度采样temperature sampling和Top-k/Top-p采样通过引入随机性来提高输出多样性但也增加了生成低概率潜在错误词的机会。温度参数τ越高输出分布越平坦模型更可能采样到低概率token从而增加幻觉风险。相反贪心解码greedy decoding虽然确定性高但可能陷入模型自身的高概率幻觉路径。例如模型可能因为生成“我不知道”会被惩罚而选择编造一个看似合理的答案。因此解码策略需要在确定性和多样性间权衡以降低幻觉概率。此外外部因素如**检索增强生成RAG**的使用也引入新的幻觉风险。RAG通过在生成前检索相关文档来提供外部知识但若检索结果不准确或模型过度依赖检索内容同样可能引入噪声或与模型内部知识冲突的信息导致幻觉。研究表明RAG系统对检索文档的顺序非常敏感不当的文档排列可能导致模型忽略正确的检索结果从而产生幻觉。这提示我们幻觉问题不仅源于模型自身也与外部知识整合机制的有效性密切相关。4. 主流幻觉缓解技术针对上述成因研究者提出了多种缓解幻觉的策略可大致分为以下几类4.1 检索增强生成RAG外部知识注入检索增强生成Retrieval-Augmented Generation, RAG通过在生成过程中引入外部知识库或检索结果为模型提供事实依据从而减少对参数化记忆的依赖。其基本流程是在生成回答前先从知识库中检索与用户查询最相关的文档或片段然后将这些检索到的内容与用户问题一起输入模型作为生成回答的上下文。这样模型在生成时可以引用检索结果中的具体信息而不是仅凭内部记忆推测。RAG特别适用于问答、对话等知识密集型任务能够显著降低事实性幻觉。例如有研究通过在LLM推理过程中动态检索并验证生成内容将实体级幻觉率从44.8%降至1.8%。图2RAG技术对实体级幻觉率的降低效果对比方法实体级幻觉率使用RAG前44.8%使用RAG后1.8%RAG的变体不断涌现如自适应RAGAdaptive RAG会根据模型置信度动态决定是否检索多模态RAG则扩展到图像、视频等模态以减少跨模态幻觉。然而RAG也面临挑战检索结果可能包含噪声或与模型知识冲突的内容需要设计有效的结果重排序和相关性阈值过滤机制。此外模型可能过度依赖检索内容忽视自身参数知识导致对检索结果的错误解读。最新研究如Stable-RAG指出RAG系统对检索文档的排列顺序非常敏感不同顺序可能导致模型选择不同答案从而影响幻觉率。因此RAG虽是缓解幻觉的有力工具但其有效性依赖于检索质量和模型对检索内容的正确融合。4.2 事实校验层后验证与纠正事实校验层Fact-Checking Layer是指在LLM生成后引入一个独立的验证机制对输出内容进行事实性核查和纠错。这种后验证策略通常包括以下步骤生成初步回答LLM根据用户提问生成初始响应。事实核查使用预训练的事实核查模型或外部知识库对生成内容中的关键事实进行验证。核查模型可以是专门训练的二分类器如基于自然语言推断的模型用于判断LLM输出的陈述是否与已知事实相符。也可以通过检索权威资料比对生成内容与检索结果的一致性来实现核查。反馈修正根据核查结果对不一致或错误的陈述进行修正。修正方式可以是简单的删除或替换错误部分或让LLM根据核查反馈重新生成相关段落。例如一些系统会提示LLM“请检查以下陈述是否属实…”让模型自我反思并纠正。事实校验层的一个优势是无需修改LLM本身可作为插件应用于任何预训练模型。工业界已有实践如NVIDIA的NeMo Guardrails库提供了Self-Check Fact-Checking模块对LLM输出进行自动事实核查并支持在检测到幻觉时阻止或警告输出。此外还有研究利用多模型一致性进行校验通过让多个不同模型回答相同问题比较它们的输出一致性来识别幻觉。这种方法利用了模型间在知识掌握上的差异通过多阶段一致性检查和动态语义保持变换等手段显著提高了幻觉检测的F1分数。事实校验层的挑战在于核查模型本身的准确性、外部知识库的覆盖范围以及如何高效地将核查结果反馈给LLM进行修正。随着检索增强生成与事实校验的结合这一方向正变得更加成熟。4.3 其他缓解策略除了RAG和事实校验研究者还从多个角度探索缓解幻觉的方法提示工程Prompt Engineering通过精心设计提示引导LLM更谨慎地回答。例如在提示中加入“请逐步思考”或“如果不确定请回答‘我不知道’”等指令可降低幻觉率。**Chain-of-Thought (CoT)**提示要求模型先输出推理过程再给出答案有助于模型自我检查逻辑一致性。Self-Consistency则通过采样多个答案并选择一致结果减少单一采样路径的幻觉。这些方法在无需修改模型参数的情况下通过改变生成流程来提升可靠性。对比解码Contrastive Decoding利用两个模型一个“原始”模型和一个“诱导幻觉”模型的输出差异来抑制幻觉。具体做法是构造一个“弱”模型如对原始模型进行对抗性扰动或使用更小模型使其更容易产生幻觉。在解码时将原始模型的预测分布与弱模型的预测分布相减以放大原始模型对正确事实的高置信度同时降低弱模型也高置信度的错误预测。实验表明这种方法能显著提升模型的事实性例如将Llama2-7B在TruthfulQA上的表现提升至与ChatGPT相当的水平。后续工作如DoLa进一步提出了层对比解码通过对比模型高层与低层的输出减少幻觉。然而也有研究指出对比解码的有效性可能受限于模型内部参数知识的正确性。模型微调与对齐在监督微调SFT和人类反馈强化学习RLHF阶段引入事实性奖励和不确定性表达机制训练模型在不确定时选择拒答或输出“我不知道”。例如通过构造包含对抗性负样本看似合理但错误的陈述的训练数据可以增强模型对细微事实差异的敏感性。RLHF则可设计奖励函数鼓励模型对高置信度问题给出准确答案对低置信度问题选择谨慎回答。这些方法旨在从源头上提高模型对自身知识边界的认知减少“硬着头皮编造”的情况。多模态融合对于视觉-语言等多模态模型幻觉常表现为视觉幻觉描述不存在的物体或属性。缓解策略包括改进视觉编码器与语言模型的融合机制确保视觉信息被充分关注以及在解码时校准注意力避免模型过度依赖语言先验而忽视图像证据。例如有研究提出**Confidence-Aware Attention Calibration (CAAC)**框架通过校准模型对不同区域的注意力缓解空间感知偏差从而减少视觉幻觉。基准与评估为了量化幻觉程度研究者构建了多种评估基准和自动指标。如TruthfulQA评估模型在常见误解问题上的诚实度HaluEval和HaluQA等基准用于检测模型生成的虚构内容RAGTruth则专注于RAG场景下的幻觉检测。此外还有工作利用不确定性量化如熵、语义熵来预测模型输出的可靠性。这些评估工具为比较不同缓解方法的效果提供了客观依据也推动了对幻觉成因的更深入理解。5. 前沿研究进展2023–20255.1 多模态与大规模视觉语言模型的幻觉随着多模态大模型如GPT-4V、LLaVA等的兴起幻觉问题扩展到视觉、音频等模态。研究发现这些模型在描述图像或视频时常出现对象幻觉描述不存在的物体和属性幻觉错误描述物体属性等现象。例如模型可能自信地描述一张办公桌照片中并不存在的笔记本电脑和咖啡杯。为应对这一挑战学术界提出了多模态幻觉检测基准如MHaluBench和统一检测框架如UNIHD能够自动选择工具对多模态输出进行细粒度幻觉检测。同时也有研究聚焦于跨模态冲突即不同模态输入间的信息不一致导致模型陷入“两难”并产生幻觉。这些工作表明多模态幻觉的成因更为复杂需要综合考虑视觉编码、模态对齐和语言生成等多方面因素。5.2 幻觉的理论分析与数学基础近期有研究从信息论和概率建模角度对幻觉现象进行数学建模和分析。例如有学者将幻觉视为模型预测分布与真实事实分布之间的KL散度超过阈值的情况。还有工作提出**“幻觉能量”的概念通过谱图理论分析模型表示空间的几何结构给出幻觉的上下界。OpenAI的最新研究更是从统计学根源出发证明了幻觉在生成模型中的不可避免性。他们通过将生成错误转化为一个二元分类问题证明语言模型的生成错误率至少是分类错误率的两倍。这意味着即使拥有完美的训练数据模型也无法完全消除幻觉。这一发现揭示了幻觉的统计必然性**并为评估体系的设计提供了指导当前主流的二元评分体系实际上在鼓励模型猜测而非表达不确定性。为此研究者提出在评估指令中明确置信度阈值以奖励模型在不确定时选择拒答从而从根本上改变模型的激励结构。这些理论分析为理解幻觉的深层原因和设计更有效的缓解策略提供了重要洞见。5.3 新的评估基准与Leaderboard为了系统评估LLM的幻觉程度学术界和工业界推出了多项基准测试和排行榜。例如HaluEval提供了一个自动评估生成文本中事实性错误率的框架Hallucination Leaderboard则比较了不同LLM在文档摘要任务上的幻觉率发现主流模型的幻觉率分布在1.8%至24.2%之间。更近期的HALoGEN基准覆盖了编程、科学 Attribution、摘要等九大领域包含10,923个生成提示和高精度自动验证器用于检测14个LLM在生成约150,000个原子事实时的幻觉情况。实验结果显示即使表现最好的模型其幻觉率在某些领域也高达86%。这些基准和排行榜不仅量化了不同模型间的差异也推动了模型开发者将可信度作为优化目标之一。同时有研究指出现有评估方法存在局限如过于关注输出层面的不确定性而忽视了模型内部表示的可探测信号。因此未来评估体系可能需要结合多层特征和人类校准以更全面地衡量幻觉。图3主流LLM模型在文档摘要任务上的幻觉率分布范围幻觉率范围1.8% – 24.2%5.4 缓解技术的创新2023–2025年缓解幻觉的技术呈现出多维度创新的趋势。除了前述的对比解码和事实校验还有以下值得关注的方向多阶段一致性检查通过在生成过程中多次采样并比较结果识别不一致之处从而定位并修正幻觉。这种方法利用了模型在不同采样路径下的输出差异提高了检测精度。内部状态探测与干预研究发现LLM的内部隐藏状态包含丰富的“事实性”线索可用于预测和缓解幻觉。例如有工作通过在生成过程中监测模型的注意力分布和logits输出当检测到模型对当前生成内容的置信度下降时及时干预如引入检索或提示模型反思。还有研究利用探针分类器分析模型内部表示找出与幻觉相关的特征并在推理时调整这些特征以降低幻觉率。多智能体系统构建由多个LLM智能体组成的系统通过自我询问和辩论来纠正错误。例如一个智能体生成回答另一个智能体扮演“质疑者”角色对回答中的每个假设进行验证和提问第一个智能体再根据反馈修正回答。这种多智能体协作机制模拟了人类 fact-checking 的过程能够发现并纠正单个模型难以察觉的幻觉。领域特定策略针对医疗、法律、金融等高风险领域的幻觉问题出现了专门化的解决方案。例如在医疗领域有研究通过合成数据增强训练事实核查模型显著提升了医学事实校验的F1分数。在法律领域通过规则嵌入和案例检索帮助模型避免虚构法律条文。这些领域定制的方法结合了专业知识库和通用缓解技术为高风险应用提供了更可靠的保障。6. 未来研究方向与展望尽管近年来在幻觉的归因分析和缓解技术上取得了显著进展但仍有许多开放问题有待探索理论与极限需要更深入的理论研究来揭示幻觉的数学本质。例如有学者已证明完美控制幻觉在当前生成模型范式中可能数学上不可能。未来的工作应在此基础上寻找可行的近似解如通过引入外部知识、约束解码空间等方法逼近理论下界。多模态幻觉随着模型能力扩展到更多模态多模态幻觉的机理和缓解策略亟待研究。例如如何在视觉-语言模型中校准注意力避免对视觉证据的忽视如何在音频-文本生成中防止听觉幻觉。这需要跨模态知识对齐和冲突检测的新方法。内部表示与可解释性加强对模型内部状态与幻觉关系的研究有助于开发更精细的干预手段。未来可探索探针模型来实时监测模型生成时的“知识边界”并在模型即将产生幻觉时发出预警。此外可解释性研究应关注幻觉路径即模型在生成错误事实时其内部哪些神经元或注意力头被激活从而为针对性微调提供依据。评估与基准构建更全面、更贴近实际应用场景的评估基准至关重要。现有基准多为静态测试集未来应考虑动态交互式评估模拟用户与模型多轮对话中的幻觉累积效应。同时基准应覆盖更广泛的领域和文化背景以检测模型在不同知识领域的盲点。评估指标也需改进从单纯准确率转向综合考虑准确率、诚实度和用户信任的多维度指标。工程实践与部署将学术研究转化为工程实践是关键一步。如何在生产环境中实时检测并缓解幻觉是工业界关注的重点。这包括开发高效的在线事实核查服务、构建可动态更新的知识库以及设计用户友好的交互界面让用户在获取信息的同时了解其可信度。此外还需要制定行业标准和最佳实践指导开发者如何在模型训练、微调和部署各阶段融入幻觉缓解策略。总之幻觉问题已成为LLM领域的一个核心挑战其解决需要数据、模型、推理和评估多管齐下。从数据清洗到模型架构优化从提示工程到多智能体系统各方面的创新正在汇聚成一套综合性的解决方案。展望未来随着对幻觉成因的更深刻理解和新技术的不断涌现我们有理由相信LLM的可靠性将大幅提升使其在高风险领域的大规模应用成为可能。本综述期望为研究者提供一个系统性的参考帮助他们在这一快速发展的领域中找到研究方向并共同推动LLM朝着更可信、更可靠的方向发展。
