大模型操控浏览器的正确打开方式你是不是遇到过这些问题Playwright 的 screenshot GPT-4V 看图识别根本不知道哪个按钮能点、哪个 input 输什么OpenAI Operator 截图驱动慢、贵、不稳定验证码卡死Selenium 写死 xpath换一个页面就崩溃自家的 AI Agent 不知道页面上有 toast 错误弹窗、红色必填星号、字数限制操作用户永远看不到的盲区这都不是大模型的问题——是大模型根本没看见真实页面。AI Browser给 Agent 一双能读 DOM 的眼睛我们做的是一个 Electron 浏览器。不是给人类用的——是给 AI Agent 用的。核心区别AI Browser 不截图。它直接把整个 DOM 树结构化成语义树推给 Agent。Agent 看到的不再是一张图片而是标题输入框placeholder请输入文章标题5100个字value空摘要 textarea字数限制0/256发布按钮disabledfalse红色星号 文章标签*弹窗模态框博主不存在这就是一个人类能看到的信息。Agent 也能看到。跟现有方案对比碾压级优势能力Playwright 截图OpenAI OperatorAI Browser理解页面结构看图猜看图猜直接读 DOM 语义树 100节点看到 toast 错误截图时可能已消失截图时可能已消失实时 push message_appeared 事件看到红色必填星号能如果截图清楚能精准检测 CSS ::before 伪元素 文本标记看到字数限制 0/256能如果截图截到能自动提取文字模式Agent 全天候知道识别 Draft.js/CKEditor不能不能editor_typedraft/ckeditor内置 execCommand insertText监听网络 API 响应不能不能CDP Network.enable推 403/404/500输入到 Vue/React inputType 事件可能不触发不稳定原生 value setter inputchange 事件iframe 内编辑器识别截图看不到 iframe 里看不到递归进入 same-origin iframe提取 body text登录态持久化要每次登要每次登Electron persist partition重启保留速度慢每步截图OCR慢快直接 IPC DOM tree几十ms价格GPT-4V 每步都扣视觉 token贵纯文本 token无视觉开销技术验证在真实网站跑通的完整流程我们在以下平台验证了端到端发布流程CSDN— Vue textarea 标题 CKEditor iframe 正文 标签 摘要 字数限制 还需输入5个字 提示消失确认 ✅知乎— Draft.js 编辑器execCommand insertText 逐段插入发布设置/预览/发布按钮全识别 ✅全程通过 WebSocket JSON-RPC API 驱动。Agent 需要的不是屏-幕-截-图它需要的是看到「这个按钮 disabled 是 false」「这个输入框 value 是空」「当前页面有一个弹窗写着博主不存在」。开源极简GitHubhttps://github.com/Glittering/ai-browser一个 Electron 进程 一个 WebSocket 端口 一个 preload bridge.js。没有复杂的微服务、没有 K8s、没有截图管道。54 个测试全绿。Agent 只要连上 ws://localhost:9223就能理解任何网页、操作任何表单、看到任何弹窗。现在开始git clone https://github.com/Glittering/ai-browser.git cd ai-browser npm install npm start # 然后用你自己训练的 Agent 连 ws://localhost:9223让 Agent 真正看见网页。这才是 AI 操控浏览器正确的姿态。
