TypeSafe助力：typesafe-computer-use低成本驱动Mac，比前沿模型快3.7倍！

导航菜单包含[登录](https://github.com/login?return_tohttps%3A%2F%2Fgithub.com%2Fawlevin%2Ftypesafe-computer-use)和外观设置选项。平台涵盖AI代码创作、开发者工作流、应用程序安全和探索四个方面。AI代码创作有GitHub Copilot、GitHub Copilot应用和MCP注册表开发者工作流包括Actions、Codespaces、Issues、代码审查和代码质量应用程序安全涉及GitHub高级安全、代码安全和密钥保护探索包含为何选择GitHub、文档、博客、更新日志和市场。还有[查看所有功能](https://github.com/features)选项。解决方案按公司规模划分有企业版、中小企业团队版、初创公司版和非营利组织版按用例划分有应用程序现代化、DevSecOps、DevOps、CI/CD还有[查看所有用例](https://github.com/solutions/use-case)按行业划分有医疗保健、金融服务、制造业、政府机构以及[查看所有行业](https://github.com/solutions/industry)。最后有[查看所有解决方案](https://github.com/solutions)。资源按主题探索有AI、软件开发、DevOps、安全以及[查看所有主题](https://github.com/resources/articles)按类型探索有客户案例、活动与网络研讨会、电子书与报告、商业洞察和GitHub技能支持与服务包括文档、客户支持、社区论坛、信任中心和合作伙伴。还有[查看所有资源](https://github.com/resources)。开源社区方面有GitHub Sponsors项目包括安全实验室、维护者社区、GitHub Stars和存档项目仓库有主题、热门趋势和集合。企业版企业解决方案是企业平台可用插件有GitHub高级安全、Copilot for Business和高级支持。还有[定价](https://github.com/pricing)。搜索 /有[登录](https://github.com/login?return_tohttps%3A%2F%2Fgithub.com%2Fawlevin%2Ftypesafe-computer-use)、[注册](https://github.com/signup?ref_ctaSignupref_locheaderloggedoutref_page%2F%3Cuser-name%3E%2F%3Crepo-name%3Esourceheader-reposource_repoawlevin%2Ftypesafe-computer-use)和外观设置选项。若在其他标签页或窗口有登录、注销、切换账户等操作需[重新加载]()刷新会话。还有awlevin/typesafe-computer-use公开相关信息如通知、Fork16、Star355、代码、问题4、拉取请求1、Actions、项目、安全与质量0、洞察等。其他导航选项包括代码、问题、拉取请求、Actions、项目、安全与质量、洞察。还涉及主分支、分支、标签等。最新提交历史记录有[26次提交](https://github.com/awlevin/typesafe-computer-use/commits/main/)。文件夹和文件列出了多个文件夹和文件如.github/workflows、docs、tests、typesafe_computer_use等还有对应的链接及相关说明。最后有[查看所有文件](https://github.com/awlevin/typesafe-computer-use)。仓库文件导航有README、贡献指南、MIT许可证。还有更多项目相关的图片和徽章如typesafe-computer-use、CI、MIT许可证、Python 3.12、macOS、TypeSafe、Ruff等。typesafe-computer-use介绍typesafe-computer-use能让用户用普通英语输入目标驱动Mac完成任务每一步仅需约0.02美分。它不将屏幕截图发送给大模型而是以确定性方式读取屏幕通过小型分类器确定下一步操作仅在文本字段确实需要自由文本时才调用写作模型并给出了示例代码。原因前沿模型驱动计算机操作功能强大但成本高昂而大多数步骤不需要复杂计划只需快速、低成本选择并给出置信度。TypeSafe提供了决策模型能在几百毫秒内对最多255个选项给出完整概率分布和校准后的置信度并提供免费输出令牌本项目围绕该模型构建计算机操作循环。还给出了不同类型在相同屏幕截图和目标下对比的表格展示了输入令牌、每次决策成本、12步任务成本、模型延迟、端到端步骤等信息体现了typesafe (jev)相比Claude Opus 5的成本优势和速度优势。同时说明大模型和本项目在某些功能实现上的差异。安装需要macOS 14或更高版本、Python 3.12或更高版本以及[uv](https://docs.astral.sh/uv/)。给出了安装步骤还列出了一些变量的信息包括是否必需和用途。此外要在系统设置 隐私与安全中为终端授予屏幕录制和辅助功能权限否则会有相应问题。使用方法给出了不同使用场景的命令示例如试运行、驱动机器执行、执行时间更长速度更慢的操作、捕获屏幕等。使用前需清空终端停止实时运行有多种方式获取答案时写作模型会读取停止时屏幕并打印结果试运行和中止运行不会打印答案。每一步的工作原理详细介绍了每一步的工作流程从屏幕捕获、视觉OCR到各种信息处理再到TypeSafe请求和确定性操作等。还说明了项目携带来源信息的作用以及将决策拆分为三个问题的原因和注意事项。OCR成本视觉OCR约占每一步成本的三分之二按文本量计费减少屏幕读取量是降低成本的关键。介绍了裁剪和复用两种降低成本的方法以及时间线显示和使用--image进行回放时的情况。辅助功能树OCR无法识别图标辅助功能树可弥补这一不足每一步会遍历最前端进程查找带标签的屏幕内控件不同应用程序的覆盖率不同。还说明了网页和不同类型应用中标签的位置以及遍历过程的严格筛选规则和测试中的遍历时间。此外该版本macOS不依赖某些辅助握手属性。屏幕外控件AXPress操作不需要元素可见相同遍历过程会保留被筛选掉的带标签、可按压节点作为单独有限列表该列表会去重、筛选最多保留120个控件。只有列表不为空时才提供press_offscreen操作和offscreen选择拒绝该操作视为无操作遍历结果取决于应用程序。操作空间列出了不同操作键对应的操作如click_item、press_offscreen、use_browser、type_text等。自由文本的来源分类器不生成文本写作模型在三个地方运行分别是type_text、use_browsersite: other和最终答案介绍了每个地方接收的信息和返回的内容以及相关注意事项如密码不输入等。运行文件夹每次运行结果会写入runs/时间戳/介绍了该文件夹下不同文件的内容每一步还会记录操作成本可重现保存的屏幕捕获而不操作屏幕。项目结构列出了项目中不同模块的名称和功能如macos.py、perception.py、dates.py等。若要移植到Linux系统可进行相应替换。