PlanU: Large Language Model Reasoning through Planning under Uncertainty

文章核心内容总结该研究针对大语言模型（LLMs）在不确定性环境下决策能力不足的问题，提出了基于蒙特卡洛树搜索（MCTS）的规划方法PlanU。核心是通过分位数分布建模MCTS节点的回报，结合好奇心增强的上置信界（UCC）分数平衡探索与利用，同时解决LLM自身随机性（生成不确定性）和环境随机性（状态转移不确定性）两大挑战。实验在Blocksworld、Overcooked等5个基准测试中验证了PlanU的优越性，其性能显著优于CoT、ToT、RAP等主流方法。创新点分位数分布建模回报：将MCTS节点的回报建模为分位数分布而非均值，精准捕捉决策过程中的不确定性（分布偏斜度反映不确定性高低）。UCC分数平衡探索利用：融合价值分布与状态新颖性设计UCC分数，通过文本编码器降低LLM描述不确定性影响，利用神经网络预测差异计算好奇心奖励。统一处理两类不确定性：同时解决LLM生成随机性（如幻觉、描述不一致）和环境转移随机性（如动作失败、多可能状态），适配多步交互类任务。翻译部分（Markdown格式）Abstract（摘要）大型语言模型（LLMs）正被广泛应用于各类推理任务，但在人类相对容易应对的不确定性场景下（如随机环境中的动作规划），LLMs有时仍会陷入困境。LLM在推理任务中的应用受限于两类不确定性挑战：LLM自身不确