CoCoA: Confidence and Context-Aware Adaptive Decoding for Resolving Knowledge Conflicts in Large ...

COCOA：大语言模型知识冲突解决研究总结与关键部分翻译一、文章主要内容总结本文聚焦大语言模型（LLMs）在生成过程中面临的参数记忆与外部语境知识冲突问题，提出了一种名为COCOA（Confidence- and Context-Aware Adaptive Decoding，置信度与语境感知自适应解码）的令牌级算法，旨在实现更合理的冲突解决并提升生成内容的可信度。1. 研究背景与问题LLMs虽能凭借预训练获取的海量参数知识在问答、摘要生成等自然语言处理任务中表现出色，但参数知识具有静态性，易过时或不完整。为弥补这一缺陷，语境感知生成通过在推理时引入外部语境（如检索文档、工具输出）整合最新知识，却带来了外部语境与模型内部知识的冲突风险。现有解码方法存在不足：标准解码方法常优先依赖模型参数先验，难以解决冲突；语境感知解码方法（如CAD）采用固定对比参数，在低冲突场景易过度校正，高冲突场景校正不足；ADACAD虽通过JSD动态调整权重，但无法区分语境信号与噪声，且在 autoregressive 解码的尖峰或重尾分布上灵敏度受限。2. COCOA算法设计COCOA通过多组件协同实现冲突解决，核心包括：尾部敏感冲突检测：用Rényi散度替代JSD，可在不同熵态下调整灵敏度，更易捕捉参数分布与语境分布间细微但有意义的冲突，尤其对低概率事件敏感。