Midscene.js GUI Agent：AI 自动化 E2E 测试完整指南
Midscene.js GUI AgentAI 自动化 E2E 测试完整指南【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene发版前还得人工把登录、下单、支付点一遍Midscene.js 是个 GUI Agent——能看屏幕、自己点按钮的 AI 程序——驱动的 E2E 测试框架。你用自然语言描述任务和预期结果它截图、分析、定位元素点击、输入、滚动再把每一步的截图和断言结果写进 HTML 报告失败定位不用再翻日志猜。先看到它动再解释它装好 Chrome 扩展后侧边栏里输入一句点击登录按钮页面就被点了输入提取页面里的商品和价格结构化数据直接返回。背后只有一件事它拿到当前截图交给多模态模型定位元素再按你的指令回放操作。模型配置就四个值粘进扩展设置页保存export MIDSCENE_MODEL_BASE_URLhttps://ark.cn-beijing.volces.com/api/v3 export MIDSCENE_MODEL_API_KEYyour-api-key export MIDSCENE_MODEL_NAMEdoubao-seed-2-1-turbo-260628 export MIDSCENE_MODEL_FAMILYdoubao-seed浏览器里扩展与已登录 Chrome 桥接接上扩展是 Web 的 Playground与midscene/web共享同一套实现侧边栏里跑通的流程换成脚本行为完全一致。 一句指令aiAct执行、aiQuery提结构化数据、aiAssert断言侧边栏直接输入即可。 产物跑完自动生成 HTML 报告浏览器打开就能逐步回放。要复用你已登录的 Chrome走桥接模式。本地脚本接管桌面浏览器复用 cookies、插件和页面状态省掉重复登录也方便人在回路里补操作import { AgentOverChromeBridge } from midscene/web/bridge-mode; const agent new AgentOverChromeBridge(); await agent.connectNewTabWithUrl(https://www.bing.com); await agent.aiAct(type AI 101 and hit Enter); await agent.aiAssert(there are some search results);脚本一跑扩展弹确认窗点Allow或Always Allow桌面 Chrome 新开标签页自动执行。脚本里Node SDK 写进正式测试接上项目里装midscene/web和tsx用PlaywrightAgent(page)或PuppeteerAgent(page)拿 agent接入你现有的测试框架和用例。 一句指令await agent.aiAct(搜索耳机并过滤 100 元以内)配aiWaitFor等结果、aiAssert校验可见状态。 产物控制台打印report file updated: ...html报告落在midscene_run/report下浏览器打开即可回放。设备里adb 连真机操作 App接上开发者选项里开 USB 调试若有USB 调试安全设置一并开数据线连电脑先验证连接adb devices -l出现设备序列号即连接成功手机弹出允许 USB 调试时点允许。 一句指令起 Android Playground窗口里输入打开浏览器搜索 SU7AI 自行规划执行npx --yes midscene/android-playground产物手机上的每次点击、滚动、断言都有截图留痕同样落在 HTML 报告里。挂了怎么查报告回放怎么读报告里每个 AI 步骤的输入、输出、耗时、状态都单独记录配截图回放失败步骤一眼可见。核心逻辑在 report-generator.ts想深挖机制从这里进。缓存命不命中、模型响应还是页面加载慢数据直接给答案。症状原因一行修法adb devices只显示 unauthorized手机没点允许手机弹窗点一次允许 USB 调试Cannot access a chrome-extension:// URL别的扩展注入冲突chrome://extensions禁用对应扩展Ollama 报 403本地模型来源被拦设OLLAMA_ORIGINS*配了 cache 没生成文件只读模式没手动写调agent.flushCache()核心参数速查参数推荐值什么时候才需要改它MIDSCENE_MODEL_NAME支持 UI 定位的多模态模型换模型服务商时MIDSCENE_MODEL_TIMEOUT180000默认 180 秒模型响应慢时上调MIDSCENE_MODEL_RETRY_COUNT1网络不稳时加到 2-3cache{ id: 任务名 }想加速重复执行时cache.strategyread-only生产环境防缓存被改写MIDSCENE_RUN_DIR默认midscene_run想把报告/缓存挪到别处时bridgeModenewTabWithUrlYAML 脚本要接管本地 Chrome 时screenshotShrinkFactor默认1GPT-5/Azure 点击坐标偏移时缓存三种策略的取舍见 caching.mdxiOS、HarmonyOS 和桌面端配置见平台指南。下一步从 Web 或真机先跑起来Web 先跑装 Chrome 扩展配好模型发一条aiAct看报告确认流程对。 真机先跑修好adb devices的连接起一遍 Android Playground参数对不对报告里一看便知。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考