如何部署一个替你点鼠标的开源 GUI 智能体：UI-TARS 完全指南

如何部署一个替你点鼠标的开源 GUI 智能体UI-TARS 完全指南【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARSRPA 脚本写一半页面换个版本全废闭源的 Computer Use 又贵又是黑盒。UI-TARS 是字节开源的 GUI 智能体模型家族给它一张截图和一句人话它回你 Thought Action一行click(start_box(177,549))就能被 pyautogui 直接执行。这个仓库里装着部署手册、3 套提示词模板和坐标解析工具包。定位解决产物上手成本开源多模态 GUI 智能体1.5-7B 开源不用选择器和 DOM模型直接看截图决定点哪可调 API 的模型 可执行 pyautogui 脚本一个云 GPU 实例 一次 pip install部署 7B 模型几分钟拿到第一个动作最短路径走 HF Inference Endpoints 部署选 UI-TARS-1.5-7B硬件至少 L40S 1×48GL4/A100 也行把 3 个 token 上限设为 65536、65536、65537加 2 个环境变量CUDA_GRAPHS0和PAYLOAD_LIMIT8000000模型就以 OpenAI 兼容接口对外服务。调用时temperature0.0把 data/test_messages.json 里的任务 截图 历史消息喂进去返回是固定两行Thought: 我看到 Preferences 窗口已经打开…… 让我点击它看看里面有什么选项 Action: click(start_box(177,549))所以呢一个能调 API 的读屏模型到手部署细节看 README_deploy.md。用一句话驱动桌面自动化你会怎么说打开 Documents/Papers 里的文档在 Word 中打上 hello保存——这是COMPUTER_USE模板里的真实示例。背后模型有 9 个动作可选单击/双击/右键、拖拽、快捷键、输入、滚动、等待、结束。两条硬约束hotkey最多 3 个键如 ctrl cwait()睡 5 秒再截图确认画面变化。产出是结构化 dict 加 pyautogui 脚本点击、输入、拖拽都能执行。所以呢界面只有截图这一种形式屏幕上看到什么它就能操作什么跟应用是谁无关。切换手机与评测场景只换提示词模板同一个模型三种用法不用重训。手机或安卓模拟器用MOBILE_USE多了long_press、open_app、press_home、press_back4 个移动动作只测找不找得到元素就用GROUNDING只输出 Action 不带 Thought。三套模板全在 codes/ui_tars/prompt.py。所以呢换提示词就是换设备。把模型坐标换算回真实屏幕模型嘴里的坐标不是你屏幕的像素值。Qwen2.5-VL 在 smart-resize 后的图上输出绝对坐标缩放因子 28总像素被压在 78400 到 12845056 之间必须换算回原始分辨率。官方解析包一条命令装好pip install ui-tarsparse_action_to_structure_outputfactor1000model_typeqwen25vl把原始输出解析成结构化动作parsing_response_to_pyautogui_code再吐出可执行脚本。仓库里有现成例子GIMP 的 Preferences 窗口模型输出 (177,549)可视化代码用红点标出落点所以呢不做这一步模型只会说不会做。参数推导见 README_coordinates.md。拆解它的高跑分先思考再行动核心设计是 RL 增强的推理每个动作前先有 Thought 写出计划和目标元素让模型多想一会儿表现就更稳推理时缩放。硬数字OSWorld 桌面基准 42.5OpenAI CUA 36.4Claude 3.7 为 28ScreenSpot-V2 定位 94.2ScreenSpotPro 61.6此前 SOTA 43.6Android World 64.2Poki 浏览器游戏 14 个里 13 个满分 100可验证细节输出固定 Thought / Action 两行解析是确定规则不需要再用 LLM 读一遍所以呢看和判断是护城河解析链路完全可控。别硬用这 5 种情况先收手官方 Limitations 写得很实在误用风险模型能过 CAPTCHA双刃剑别指向受保护接口算力长任务要正经的 GPU48G 级别实例起步幻觉模糊界面会认错元素、走错动作执行日志还得人工过版本能下载的是 1.5-7BOSWorld 27.5更强的 1.5 大模型42.5只给研究访问⚠️ 固定界面 固定流程手写脚本更稳更省别上模型判断标准就一条界面经常变、元素写不成选择器、需要看和判断→ 用 UI-TARS流程固定 → 用 RPA。今天就做三步跑通最小闭环最小闭环三步按部署手册把 7B 端点跑起来喂样例消息等第一条 Thought Action点偏了就去坐标手册查 factor 和分辨率参数。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考