如何在本地免费跑通 Claude Code：oMLX Anthropic Messages API 适配完整解析

如何在本地免费跑通 Claude CodeoMLX Anthropic Messages API 适配完整解析【免费下载链接】omlxLLM inference server with continuous batching SSD caching for Apple Silicon — managed from the macOS menu bar项目地址: https://gitcode.com/GitHub_Trending/om/omlx想在自己的 Mac 上用本地模型替代云端 API跑通 Claude Code 吗oMLX是一个专为 Apple Silicon 打造的 LLM 推理服务器内置连续批处理Continuous Batching与 SSD 分层 KV 缓存并原生实现了Anthropic Messages API兼容端点/v1/messages——只需一条omlx launch claude命令就能让 Claude Code 完全走本地推理无需 API 账单。本文将从 API 适配原理讲起手把手带你完成本地跑通 Claude Code 的正确姿势。为什么 Claude Code 能直连 oMLXClaude Code 的底层协议是 Anthropic Messages API而不是 OpenAI 格式。市面上很多本地推理服务只兼容 OpenAI连接 Claude Code 就水土不服。oMLX 的做法是直接实现完整的服务端适配请求层omlx/api/adapters/anthropic.py 中的AnthropicAdapter把 Anthropic 格式的MessagesRequest解析为内部统一格式包括 system 消息、多模态内容块与工具调用定义路由层omlx/server.py 注册了POST /v1/messages端点完整支持流式SSE与非流式两种模式转换层omlx/api/anthropic_utils.py 负责消息体、工具调用tool_use / tool_result与 thinking 推理块的互相转换。适配覆盖的内容块类型也很全文本、图片、PDF 文档、音频、工具调用与推理块见 omlx/api/anthropic_models.py所以 Claude Code 的绝大多数交互场景都能原生走通。一键接入omlx launch claude 的正确打开方式装好 oMLXmacOS 应用或 Homebrew并启动服务后接入 Claude Code 只需一条命令omlx launch claudeoMLX 会弹出一个方向键模型选择器已加载模型排前面选定后自动完成所有环境变量配置并拉起 Claude Code。整个过程由 omlx/integrations/claude.py 中的ClaudeCodeIntegration完成管理面板的 Integrations 页面也能一键接入 Claude Code、Codex、OpenClaw 等工具无需手改任何配置文件如果你更习惯从源码安装git clone https://gitcode.com/GitHub_Trending/om/omlx cd omlx pip install -e . omlx serve --model-dir ~/models前提Claude Code 已安装npm install -g anthropic-ai/claude-code且 macOS 15.0、Apple Silicon。oMLX 自动替你配置的关键环境变量手动接入 Claude Code 最容易踩坑的地方是环境变量。oMLX 在启动时会自动设置好这一整套这也是正确姿势的核心环境变量作用ANTHROPIC_BASE_URL指向 oMLX 服务地址默认http://localhost:8000所有请求走本地ANTHROPIC_AUTH_TOKEN填入 oMLX 的 API Key确保鉴权通过ANTHROPIC_API_KEY置空避免 Claude Code 尝试回连官方 APIAPI_TIMEOUT_MS拉大到 3000000约 50 分钟容忍本地模型加载与长 prefill 耗时CLAUDE_CODE_MAX_CONTEXT_TOKENS按 oMLX 配置的真实上下文窗口设置让 auto-compact 时机准确CLAUDE_CODE_SUBAGENT_MODEL子代理subagent使用的本地模型几个容易忽略但 oMLX 已经处理的细节上下文窗口门槛Claude Code 要求模型至少 48K 上下文oMLX 会在选择器中直接禁用不满足的模型并给出原因见 claude_code_model_disabled_reason多档位模型映射Claude Code 内部按 Opus/Sonnet/Haiku 三档调用oMLX 支持把三档分别映射到你不同的本地模型也可以统一指向同一个遥测静默默认设置CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC把无关流量全部关掉保持纯本地。按模型精调上下文与采样参数跑通之后建议进入管理面板http://localhost:8000/admin为模型设置合理的max_context_window、max_tokens等每模型参数。oMLX 支持 Profile 机制——同一引擎上保存多套配置切换无需重新加载模型、不占额外内存。这些参数会直接影响 Claude Code 的自动压缩auto-compact时机设置不当会出现越聊越卡甚至提前截断会话的问题。本地推理为什么敢跑 Claude Code前缀缓存是关键Claude Code 是典型的长系统提示 高频工具调用场景如果每次都全量重算 prefill本地模型再快也会卡。oMLX 的杀手锏是分层 KV 缓存热层内存高频访问的 KV 块驻留内存微秒级命中冷层SSD内存满了把块以 safetensors 格式落盘下次请求前缀匹配时从磁盘恢复即使服务器重启也不丢。Claude Code 的会话前缀高度稳定几乎每轮都能大量命中缓存因此本地推理的体验远好于理论上的裸推理速度。这也是 README 中作者构建 oMLX 的初衷让本地 LLM 能真正承担 Claude Code 这类带工具的实际编码工作。不确定模型是否正常工作时可以先用内置聊天界面/admin/chat验证一下常见问题速查Q提示oMLX server is not running先执行omlx start启动服务或 macOS 应用中点启动launch前 oMLX 会检查/health端点。Q本地模型上下文不足 48K能用 Claude Code 吗Claude Code 硬性要求 48K。oMLX 支持上下文缩放上报的 token 计数会按比例缩放让小上下文模型的 auto-compact 在正确时机触发配合 SSE keep-alive 防止长 prefill 时读超时。Q工具调用Tool Use能走通吗可以。oMLX 自动识别 Llama、Qwen、DeepSeek、Gemma、GLM 等主流模型族的工具调用格式见 omlx/api/utils.py 中的格式解析Claude Code 的 Bash、文件编辑等内置工具均可本地执行。Q如何验证 API 本身可用对POST /v1/messages发一个最简单的 JSON 请求含model、max_tokens、messages三个字段能收到msg_前缀的响应即说明 Anthropic 端点工作正常其余都交给omlx launch claude自动化处理。小结oMLX 用一套完整的 Anthropic Messages API 适配/v1/messagesAnthropicAdapter 全量内容块转换加上launch claude的一键环境变量编排把本地跑通 Claude Code从一堆手动配置简化成了一条命令。配合 48K 上下文门槛检查、三档模型映射与 SSD 前缀缓存本地推理在真实编码工作流里已经相当实用。【免费下载链接】omlxLLM inference server with continuous batching SSD caching for Apple Silicon — managed from the macOS menu bar项目地址: https://gitcode.com/GitHub_Trending/om/omlx创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考