Midscene.js 配置教程：10 分钟从环境变量到跑通第一条 YAML 任务

Midscene.js 配置教程10 分钟从环境变量到跑通第一条 YAML 任务【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene 是一个视觉驱动的 GUI Agent 框架用自然语言指令操作浏览器和移动设备完成 E2E 任务。Midscene.js 配置的完整路径其实只有三步配好 4 个环境变量、接通一个设备或浏览器、写一份 YAML 脚本。下面按真实执行顺序带你走一遍。先选入口扩展、YAML 还是代码这节帮你先确定从哪条路切入避免选错方向重复折腾。想零搭建体验装 Chrome 扩展在设置里粘贴模型配置后直接在网页侧边栏输入自然语言指令。想批量执行或接 CI用midscene命令行 YAML 脚本一份文件描述一个流程。想深度定制用 Agent API 写 TypeScriptPlayground 里验证过的指令可以直接搬进代码。三条路共用同一套模型配置配一次到处可用。4 个核心环境变量怎么设置这节解决模型 API 指到哪里、密钥放哪的问题。export MIDSCENE_MODEL_API_KEYyour-api-key export MIDSCENE_MODEL_BASE_URLhttps://your-endpoint/v1 export MIDSCENE_MODEL_NAMEyour-model-name export MIDSCENE_MODEL_FAMILYyour-model-familyBASE_URL写到版本号结尾即可/v1或/v3/chat/completions由底层 SDK 自动补上。FAMILY决定坐标解析方式按你所用模型的文档填写。可选调优项按需加变量作用默认值MIDSCENE_MODEL_TIMEOUT单次 AI 调用超时毫秒180000MIDSCENE_MODEL_RETRY_COUNT调用失败重试次数1MIDSCENE_MODEL_RETRY_INTERVAL重试间隔毫秒2000注意旧版MIDSCENE_USE_*系列变量已废弃请改用FAMILY。密钥建议放.env或 CI 变量里不要提交进仓库。全部配置项见模型配置参考。Android 和 iOS 设备怎么连接这节解决 Midscene 如何看到并操作真机。Android 三步开启开发者选项里的 USB 调试用数据线连上电脑。执行adb devices确认能看到设备序列号。在脚本里指定deviceId和launch要打开的页面地址。iOS 两步用 Xcode 跑起 WebDriverAgentWDA。在脚本中配置wdaPort常用值8100。多台设备并行时给个参考值单台主机并行设备不超过 5 台Web 任务的并发数建议不超过 CPU 核心数。各平台的详细准备步骤见快速开始。最小 YAML 任务脚本怎么写这节教你把流程写进一个能直接运行的文件。page: url: https://www.bing.com tasks: - name: 搜索天气 flow: - ai: 搜索 今日天气 - sleep: 3000 - aiAssert: 结果中展示了天气信息ai用一句话执行复合动作aiTap点单个元素aiAssert断言界面状态sleep单位是毫秒。单页用page:其他平台换成android:、ios:、computer:web:仅为兼容旧脚本保留。跑起来只需一条命令midscene ./bing.yaml。常用agent:配置generateReport默认开启报告、reportFileName、replanningCycleLimit默认 20、aiActContext给模型补充业务背景比如出现弹窗就点同意。常见误区同一份脚本里不要同时出现page、browser、web会互相冲突。用缓存怎么缩短执行时间这节解决重复跑同一脚本时 AI 调用多、耗时高的问题。在 YAML 里加一段agent: cache: id: my-cache strategy: read-write也可以直接写cache: true会自动用文件名当缓存 ID。缓存文件落在./midscene_run/cache扩展名.cache.yaml。aiQuery、aiAssert这类查询类操作永远不缓存保证结果实时。缓存的规划失效时会自动回退重新规划不用手动清缓存。文档里的一个参考案例同一脚本开启缓存后从 51 秒降到 28 秒。生产环境建议用read-only策略并手动写缓存保证一致性。桥接模式怎么复用已登录的浏览器这节解决任务需要登录态、不想每次重新登录的问题。安装midscene/web和tsx依赖。脚本里用AgentOverChromeBridge可连接新标签页或附着当前标签页。用 YAML 的话在web段加bridgeMode: currentTab当前页或newTabWithUrl新开页。注意桥接模式下的模型配置要写在 Node 侧终端环境变量里不是写在浏览器侧。它能直接复用本地 Chrome 的 Cookie 和页面状态也支持人工随时介入。跑完之后看报告和调参这节帮你确认任务是否真的跑通、哪里还能优化。任务结束会自动生成报告generateReport默认开启里面每步都有截图、AI 调用次数和耗时。先看截图是否符合预期再看总耗时集中在哪一步。AI 调用频繁超时调大MIDSCENE_MODEL_TIMEOUT或把复杂指令拆成更短的几步。接下来你可以把aiQuery用起来提取结构化数据把单任务扩展成多任务套件想深入调参精读缓存文档和模型配置参考即可。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考