本文整理自 AICon 上海分享「从唤醒到陪伴多模态 Agent 如何重构手机交互范式」演讲者刘鹏通过AI音视频总结工具Ai好记转录整理以下为视频转文字后精炼整理的内容。手机AI助手的范式演进手机上的AI助手正在经历一次根本性的升级。从简单的语音问答「帮我定个闹钟」进化到具备屏幕理解、实景交互、伴随记忆和跨应用执行能力的多模态Agent。三代的演进可以这样看阶段代表能力交互方式第一代传统语音助手简单的知识问答唤醒→提问→回答第二代屏幕理解看懂屏幕内容并操作唤醒→截图理解→操作第三代持续感知Agent实时感知记忆跨应用执行持续待命→自主决策OPPO在这个方向上做了两个重要的产品探索「小布伴随」和「X-OmniClaw」。小布伴随实时感知型Agent小布伴随是一个「能够持续感知手机屏幕内容、随时回答用户问题」的Agent。它的核心设计原则是三个词快、准、省。首包优先作为实时交互产品小布伴随的核心理念是「首包优先」——把「第一时间给出响应」作为最高优先级即使初始响应不完美也优于让用户长时间等待。这与后台常规Agent的设计形成鲜明对比对比维度后台常规Agent实时Agent小布伴随设计目标追求复杂任务准确性追求低延迟快速响应推理轮次多轮思考、多次工具调用单次编排、轻量模块容错策略循环试错前置路由、快速给答案延迟容忍度高极低提问瞬间重建一个关键的技术点是「提问瞬间重建」。用户说「刚刚那个」的时候指的并不是语音结束的那个瞬间而是ASR语音识别开始的时刻。小布伴随通过精准锚定提问时间点并结合前后帧策略确保系统能理解用户所指的「瞬间」是哪一帧画面从而给出准确答案。流式记忆系统在手机上做伴随式Agent记忆系统不能太重。OPPO的取舍是采用「全局总结类记忆」作为主要方案——每次交互后对整个对话做一次简短的总结性记录作为下次交互的上下文。这样的设计比复杂的记忆框架更轻量、更稳定。候选式链路编排为了兼顾灵活性和响应速度小布伴随采用「候选式链路编排」——针对常见场景预设多条候选执行链路运行时根据输入动态选择最匹配的一条执行。这样避免了每次都需要完整推理从头规划大幅降低了端到端延迟。X-OmniClaw执行型移动Agent如果说小布伴随是「感知型Agent」那X-OmniClaw就是「执行型Agent」——它能在真实的手机环境中自主操作App、完成复杂任务。三大核心能力能力名称说明跨模态感知Omni Perception理解屏幕内容、语音、手势记忆Omni Memory记住用户偏好和操作历史行动Omni Action在App内执行点击、输入、滑动轨迹克隆执行这是X-OmniClaw的一个亮点功能。当Agent成功执行过一次复杂操作流程后这条「轨迹」会被沉淀下来经过分析和优化比如删除冗余步骤、将多步操作替换为一步直达的Deeplink再后续遇到相同或相似的指令时可以直接调用优化后的轨迹无需重新推理每一步。最终效果执行效率和成功率大幅提升。工程落地原则快而可控OPPO在工程落地上有一个清晰的取舍原则宁可稳定慢一点也不要花哨但不可控。几个具体的做法模型假设规则裁剪不完全依赖模型做所有决策。模型给出判断假设规则层做最后的裁剪和校验。这样即便模型输出有偏差规则层也能兜底。学术方法的实用化取舍对于学术前沿方法如复杂的记忆森林OASIS框架OPPO评估后发现虽然学术数据集上效果好但线上用户实际使用中复杂场景占比极低。最终选择了更简单、更稳定的方案。低延迟优先任何增加延迟的特性都要经过严格评估能不做的就不做。未来的手机交互意图驱动OPPO对未来手机交互的预测是操作系统将进化为以AI为核心驱动的智能系统。几个关键变化App的角色将分裂一方面保留为人类设计的沉浸式UI体验另一方面必须将其核心功能注册为AI可调用的标准化接口Function。可发现性和可调用性与UI体验变得同等重要。交互入口改变用户不再需要「打开某个App」而是「表达我想要的意图」由系统级AI自动调度跨应用、跨设备的能力来完成。端侧智能成核心为了满足实时性的要求大量推理需要在端侧完成云端只是补充。端侧模型的能力和效率将决定体验的上限。FAQQ小布伴随目前支持哪些场景A主打屏幕理解类的场景——看图识物、看视频回答问题、看网页做总结等。执行类任务由X-OmniClaw负责。Q轨迹克隆执行会不会导致Agent能力固化A不会。轨迹是「候选优化方案」而非「唯一路径」。当新场景与已有轨迹不匹配时Agent会重新推理新路径成功执行后可以沉淀为新轨迹。Q端侧模型现在能做到什么水平AOPPO没有透露具体模型规格但从产品表现来看端侧模型已经能完成屏幕理解、简单推理和指令执行。以上内容由 Ai好记 转录整理。Ai好记是一款音视频转图文笔记的AI音视频总结工具支持解析B站、抖音、小红书、小宇宙等平台链接及本地音视频文件转录后自动生成精华速览、要点总结、思维导图和结构化笔记等内容帮助你把几小时的视频内容变成可搜索、可复习的图文笔记。
