、LLM、记忆作为大脑，自主调用下层导航、操作、运控相关的技能)
第一部分 ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory1.1 引言如原论文所述具身智能正迅速将人工智能从数字环境推进到物理世界。近期在视觉-语言模型Vision-Language Models, VLMs以及视觉-语言-动作系统方面的突破使机器人获得了前所未有的自然语言理解、视觉场景理解、导航以及动作预测能力 [10,13,14,17,27,48,87,93]然而在“理解”与“行动”之间依然存在关键鸿沟如何将高层语义推理转化为可靠的、多步的物理执行如何在无需大量重新训练的情况下使能力能够在多样的机器人形态之间实现泛化又如何让机器人构建用于持续交互的长期、持久记忆这些都是必须解决的基础性挑战只有攻克这些问题才能真正推动具身智能体从实验室原型走向实用且可规模化的系统有三条相关研究路线指向了一种潜在的解决方案但目前彼此之间仍然只部分衔接首先在广义的双系统理论Dual-System Theory[73] 动机驱动下机器人基础模型系统开始将快速的感知-动作策略与较为缓慢的深度推理结合起来Galaxea G0 [36]、Hi Robot [67] 以及 RoboBrain系列工作 [35,72] 展示了 VLA 模型与分层机器人智能如何把抽象的概念性表征与具体的运动执行连接起来受大脑启发的系统如 RoboMemory [43] 和 Agentic Robot [103]则进一步探索了面向具身智能体的记忆架构和认知分解机制。这些工作大幅推动了机器人从感知到动作的映射能力但往往仍然受限于特定的模型栈、具身形态或控制接口其次通用智能体agent的研究已经展示了显式推理、工具使用以及可执行工作流的价值ReAct [104]、Toolformer [66] 和 SWE-agent [97] 表明语言模型可以在推理过程中交织执行动作并调用外部工具更新一代的智能体系统如 OpenAI Operator [59]、ChatGPT agent [58] 和Claude computer use [3]则将这一理念扩展到了交互式数字环境诸如 OSWorld [90] 等基准进一步揭示即便是性能强大的多模态智能体在开放式、长时间跨度的任务执行上依然存在困难在机器人领域Gemini Robotics [29]、SayCan [1]、Inner Monologue [33]、Voyager [76] 和AutoGen [86] 等系统展示了具身技能使用、反馈机制、可复用技能以及智能体专业化的重要性然而物理世界中的执行又引入了多数软件智能体所没有的额外约束部分可观测性、执行不确定性、任务完成信号的模糊性以及必须验证计划动作是否真正改变了现实世界的需求第三面向智能体的长期记忆已经从早期生成式智能体 [62] 中的记忆流和反思机制发展到MemoryBank、MemGPT 和 Mem0 [15,61,115] 所采用的持久化用户记忆、分层上下文管理以及可扩展的记忆基础设施这些系统表明智能体不应仅依赖当前的提示信息或参数化模型中的记忆。然而具身智能体需要更强大的底层支撑记忆必须能够将对话、自我中心视角的视觉证据、对象状态、人物或动物身份、地点、时间关系、空间关系、来源信息以及机器人任务轨迹进行绑定并以一种在未来物理交互中可以被检索和审计的形式加以存储综上所述现有系统仍然存在三个空白首先是推理与执行之间的鸿沟许多基于基础模型的机器人系统要么将模型输出直接映射为动作要么依赖单块式流水线缺少一个用于任务分解、工具调用、技能委派、结果验证、失败恢复以及多步逻辑推理的中间智能体层其次是具身与泛化之间的鸿沟机器人智能体系统往往与特定硬件、控制 API 或环境假设高度耦合从而使跨形体迁移成本高昂第三是持久具身记忆的鸿沟短期缓冲区、纯文本缓存或任务特定记忆模块无法在长时交互过程中可靠地保留多模态、关系化且可溯源于数据源的经验这些空白同时也暴露出评测方面的需求长时序具身智能体需要的基准测试应超越单一的导航、操作或 VQA 任务而是评估可执行的多场景情境包含动态事件、交互过程以及基于完整交互轨迹的评分机制为弥合这些差距来自的研究者提出了 ABot-AgentOS——一种通用机器人智能体操作系统General Robotic AgentOperating System它在低层控制器之上提供可复用的智能体层用于具身推理、记忆、工具使用、结果校验以及跨具身形态执行总之ABot-AgentOS 构建在强大的 VLM视觉语言模型和机器人技能接口之上构造出一个连接认知推理与物理执行的完整智能体操作系统Agent OS1.2 智能体框架1.2.1 架构概览ABot-AgentOS 是一款面向通用机器人的智能体操作系统专为具身智能而设计在机器人硬件和底层控制器之上提供一个审慎推理deliberative的智能体层ABot-AgentOS 并不替代现有控制栈而是提供一个统一的认知层在不同类型的机器人平台包括人形机器人、四足机器狗、移动操作机器人以及机械臂上连接多模态感知、记忆、推理、规划与技能执行ABot-AgentOS 从麦克风、移动应用、摄像头及其他传感器接收多模态输入并将其映射到一个用于感知、推理和行动的运行时循环中首先是下图中 中间的两个部分即第一其运行时采用边缘-云协同的大语言模型LLM架构一个轻量级的 Tiny LLM运行在边缘侧在每个交互轮次中提供低延迟的感知、指令理解、状态跟踪以及常规决策能力当任务需要更复杂的推理、长时间尺度的规划或歧义消解时系统可以向云端的大型 Large LLM请求支持在按需调用的方式下提供更强的语义理解和规划能力第二Agent Harness 层包含三个关键组件具备验证功能的 ReAct、上下文管理以及技能进化。该层将提示词、工具、API 和执行协议组织为一个可靠的智能体循环具备验证功能的 ReAct即Verification-aware ReAct在原有 ReAct 之上添加了一个验证器模块以提升智能体系统的鲁棒性上下文管理Context Management从观测结果、对话历史、机器人状态和记忆中选择、压缩并检索相关信息技能进化Skill Evolvement使智能体能够通过与物理世界的持续交互来优化、复用并扩展其技能集合其次是下图中的最上面部分和最下面部分即第三在运行时之上ABot-AgentOS 将机器人能力抽象为统一的技能与工具层包括操作技能[101]、导航技能[18,98,99]、运动控制、视觉以及其他可扩展工具如下图最上面的部分所示通过这种抽象同一套智能体系统可以跨不同的机器人形态运行同时复用高层推理和任务规划逻辑第四ABot-AgentOS 的核心组件之一是其多模态记忆系统该系统由边缘侧私有记忆和云端公共记忆组成私有记忆用于存储与机器人相关的特定信息例如地图、语义知识、多模态交互历史、用户偏好以及本地环境经历从而实现个性化和隐私保护的运行公共记忆则汇聚可共享的知识例如可复用的地图表示和通用任务经验并通过上传/下载机制支持不同机器人之间的知识迁移通过这种方式单个机器人既可以从自身的具身经验中持续学习又能够受益于其他智能体累积的集体知识总体而言ABot-AgentOS 将边缘智能、云端推理、多模态记忆和模块化技能执行整合为一个统一的通用机器人智能体操作系统。通过将高层认知与具体硬件形态解耦它为构建能够在真实世界环境中进行感知、记忆、推理、行动并持续进化的具身智能体提供了一个可扩展的基础1.2.2 智能体框架作者还提出了一种用于长时域具身任务的分层 LLM 智能体框架其核心动机在于具身智能体不仅要能够理解自然语言指令还必须能够理解所处场景其中包括指令所依托的上下文、当前的执行阶段以及在何种条件下可以认为任务已经完成与代码代理和普通的工具使用型代理例如通过代理-计算机接口用于软件工程的 SWE-agent[97]用于基于 API 的工具使用的 Toolformer [66]以及用于交替推理与行动的 ReAct [104]不同具身代理在中间步骤上往往缺乏明确的完成信号比如代理可能调用了一个导航命令却并未真正离开当前位置或者不断旋转并发生碰撞但在语言层面仍然“认为”任务在向前推进因此ABot-AgentOS的框架并不是简单地让 LLM 调用更多工具而是将具身执行组织为一个由“推理—执行—验证”构成的闭环该框架将通常纠缠在单一控制器中的三种角色加以解耦主LLM、Skill Runner以及Verifier如图2所示任务首先由一个主LLM进行处理。在记忆和上下文的支持下主LLM观察任务、结合当前场景进行解释并形成一个高层计划随后它会决定是直接调用某个工具还是将一个多步子任务委派给Skill Runner。Skill Runner是技能级别的子代理在隔离的本地上下文中管理过程式执行维护中间状态处理反复的观测与动作并将压缩后的结果返回给主LLMVerifier在运行时和结束时对执行过程进行监督检查行为是否仍在取得进展、某个技能是否已经停滞以及任务是否确已可以终止————通过这样的循环将LLM的推理锚定在环境事实之上并减少在长时间跨度具身任务中的过程性漂移和过早终止1.2.2.1 LLM场景条件驱动的任务规划主大型语言模型LLM在 Agent Harness 中充当语义规划器的角色。它的职责是结合当前场景、地图记忆、机器人状态、最近历史以及可用技能来解释用户指令而不是为每一个底层动作发出指令。在执行之前它会判断任务是否需要导航、搜索、人机交互、结果汇报、操作操控或额外的观察并据此生成一个可被修订的高层次计划同时为任务设定明确的完成条件这一规划步骤是以场景为条件的而不是纯粹依赖语言。本质上相同的指令在执行时可能会因为智能体当前所在位置、可用的视觉证据、已知的地图结构、可到达的区域、附近物体以及过往的交互历史不同而需要采用不同的执行策略因此主LLM会推理哪些信息已经足够哪些必须通过观察或查询获得在当前状态下哪些技能是可行的以及哪些可观测条件可以构成任务完成的判据随着新的观测结果、工具反馈、技能总结以及验证器反馈进入上下文计划会被不断更新。主LLM 决定应该优先追求哪个目标、在何时直接使用工具就足够、在何时应将子任务委派给 SkillRunner以及在何时任务可能已经可以结束————通过将本地执行细节排除在主要推理线程之外智能体在允许底层技能处理具体流程细节的同时得以保持全局任务状态的一致与连贯1.2.2.2 用于过程执行的技能运行器技能运行器负责处理需要持续本地执行的子任务一个技能并不被视作一次性工具调用或简单的动作宏它由一个技能级子代理来执行该子代理拥有一个隔离的本地上下文其中包括子目标、最近的观测、技能状态、失败尝试以及恢复策略。主LLM接收的是压缩后的技能进度与结果而不是完整的中间动作序列这种上下文隔离对于长时间跨度的具身任务非常重要因为本地执行可能涉及重复的移动、观察、重定位、视角调整以及恢复操作。若将每一次本地碰撞、短程移动、失败尝试或视觉调整都附加到主 LLM 的上下文中全局目标就会被这些过程性细节淹没。SkillRunner 在吸收这一局部复杂性的同时保留主 LLM 进行高层阶段管理所需的信息在执行过程中Skill Runner 通过检查任务是否在推进、决定何时需要进行额外观测或本地恢复以及确定何时应将控制权交还给主 LLM来维持过程上的连续性结束时它会返回一个紧凑的语义摘要说明子目标是否达成如果未达成则说明失败原因并给出在场景中发现了哪些信息、尝试了哪些恢复操作以及主 LLM 应该如何利用这一结果1.2.2.3 多阶段验证验证器解决的是语言层面信念与基于环境的执行结果之间的不匹配问题与许多可以通过测试、API 响应或页面状态等显式外部信号来检验成功与否的数字任务不同具身任务通常要求代理声明的进度、具体执行轨迹以及观测到的场景状态三者之间保持一致因此验证器通过检查近期行为表现、技能执行结果以及最终回答是否由环境证据支撑而不仅仅是由代理自身的信念支撑来对执行过程进行监督验证被应用在三个阶段运行时验证用于监控最近的轨迹与技能状态是否表明任务在有效推进或相反地暴露出停滞、重复碰撞、局部循环或者与当前计划不一致的行为技能级验证则检查被委派的子任务是否真正满足了其语义目标而不是仅仅因为某个工具或子代理正常返回就视为成功完成时验证则在主 LLM 尝试结束任务时进行在允许任务结束之前它会综合评估最初的指令、当前的计划、执行历史、技能摘要、观测结果以及交互过程中引入的任何新需求因此Verifier 不仅仅是一个最终的结果评估器而是 Agent Harness 内部的监督信号。通过在委托执行之前、期间以及之后应用验证ABot-AgentOS 可以将缺失的条件反馈回推理层从而在开放式具身任务中减少停滞、误判以及过早终止1.2.2.4 边缘-云协同路由在实际部署中并非每个任务都需要由云端的大规模模型来处理常规请求通常可以由设备端的小模型和本地工具完成而长时程的具身任务则可能需要更强的场景理解、规划、技能执行和结果验证能力因此ABot-AgentOS 采用了边缘-云协同路由层设备端模型首先观察任务及其上下文然后要么在本地直接处理请求要么在任务较为复杂、需要更深入推理时将其升级转交给云端模型这一设计遵循模型路由与分层推理的一般动机即系统在具备不同能力与成本的模型之间进行选择 [4,11,56]。在作者的设定中路由策略并非基于固定规则而是由训练样本和执行反馈学习得到。它能够刻画哪些请求可以可靠地由本地工具解决哪些需要云端级别的规划以及哪些在路由之前还需要进行额外观测这样既能将时延和部署成本控制在可接受范围内又能在需要更深层次、长时程推理的任务上保留云规模的处理能力1.2.3 内存系统要实现长时间跨度的具身交互需要一种位于 LLM 上下文之外、可在会话之间持久存在、并以机器人自身经验为基础的记忆基底在 ABot-AgentOS 中记忆系统就提供了这样的基底。它将观察结果、人机对话轮次、模型提取的语义事实、视觉证据、身份信息、对象状态、空间关系以及任务轨迹等记录为以数据源为依据的记忆条目并通过可追溯的检索机制使累积的经验在后续推理步骤中可被利用记忆系统并非简单作为完整视频、全文对话记录或非结构化图像负载的原始存档而是将多模态经验转换为紧凑的图记录这些图包含带类型的实体、事件、关系、时间上下文以及来源信息这样的设计使得智能体能够回忆人物、动物、物体、地点、事件、时间事实、空间关系以及相应的证据来源而不会使在线上下文窗口负载过重记忆系统位于在线运行时online runtime之下用来补充上下文管理模块上下文管理负责决定当前提示prompt中应包含哪些信息包括当前指令、角色策略、执行计划、最近观测以及反思总结记忆模块则决定哪些内容需要在当前回合episode结束后仍然保留以及如何将相关的过去证据检索回当前上下文————这种职责分离既防止了长期记忆退化为无结构的提示堆积同时又允许智能体控制器在当前任务需要身份回忆、时间锚定、物体—位置回忆或带来源支撑的视觉证据时利用持久化的经验// 待更
