Eigent 接入本地大模型：从 Ollama 到 vLLM 的完整配置路径

Eigent 接入本地大模型从 Ollama 到 vLLM 的完整配置路径【免费下载链接】eigentEigent: The Open Source Cowork Desktop - Local and Free Alternative to Claude Cowork and Codex项目地址: https://gitcode.com/GitHub_Trending/ei/eigentEigent 是一个开源的多智能体协作桌面应用本地运行的 Claude Cowork / Codex 免费替代方案。它的模型设置里内置了本地推理平台适配你可以把 Ollama、vLLM、SGLang、LM Studio、LLaMA.cpp 这类在本机运行的推理服务接进来让所有智能体任务都在自己机器上跑不产生 API 调用费用数据也不出内网。本文按实际配置流程走一遍先判断你该用哪个平台再填两个关键参数端点地址 模型名最后确认连接生效并处理常见的连不上的情况。一、先判断哪个本地推理平台适合你Eigent 通过 OpenAI 兼容接口与本地服务通信因此只要你的推理引擎对外暴露标准/v1接口就能接入。各平台定位大致如下平台适合人群Eigent 内置的默认端点Ollama最易上手一条命令拉模型http://localhost:11434/v1vLLM追求推理吞吐适合有独立显卡的机器http://localhost:8000/v1SGLang长文本、高并发生成场景http://localhost:30000/v1LM Studio偏好图形界面管理模型http://localhost:1234/v1LLaMA.cpp轻量部署、纯 CPU 也能跑小模型http://localhost:8000/v1按实际启动端口填写如果你只是想快速体验选 Ollama如果你要长期跑生产任务且硬件够vLLM 的吞吐表现更好。二、最小配置步骤以 Ollama 为例整个过程只需要完成三件事启动本地推理服务并加载模型。例如在 Ollama 中拉取一个模型ollama pull qwen2.5:7b其他平台类似vLLM 用vllm serve 模型名启动后按当前版本实际监听的端口记录地址默认常见为 8000 端口。打开 Eigent 的模型设置页在本地模型Local Models区域选择对应平台标签页填写端点 URL。端点地址应包含/v1后缀Eigent 对 Ollama 有一个自动修正如果你只填了http://localhost:11434失焦时会自动补上/v1并提示你。Eigent 桌面端主界面模型与本地推理服务均在本机完成配置填写模型名称并保存。对 Ollama 和 LLaMA.cpp模型下拉框可以自动从服务拉取已加载的模型列表Ollama 走/api/tags接口点刷新按钮即可列出可选模型对 vLLM 等其他平台手动输入实际加载的模型标识例如你启动 vLLM 时指定的模型 ID。填好后点击保存页面会向本地服务发起一次连通性校验。三、确认配置生效判断是否接入成功看两处保存时的校验结果。保存按钮在请求期间会显示配置中状态失败时输入框下方会直接给出错误提示此时无需翻日志。设为默认按钮是否可用。配置成功后该本地模型卡片上的状态指示灯会变绿未配置字样切换为设为默认按钮。点击后即可把这台本地模型设为整个应用的默认工作模型之后新建会话都走本地推理。另外模型设置页顶部有一个全局默认模型选择器可以在云端模型和你已配置的本地模型之间切换方便在需要时临时换回在线模型。四、连接失败时的排查顺序按命中率从高到低检查端点是否带/v1。这是最高频的错误。vLLM、LM Studio、SGLang 的 OpenAI 兼容地址都以/v1结尾如果服务本身跑在远程机器上把localhost换成对应 IP但路径不变。端口是否与启动参数一致。本地推理工具大多允许用命令行参数改端口启动输出里通常会打印实际监听地址以那里为准不要凭记忆填。模型名是否和服务里加载的完全一致。大小写、标签后缀如:7b都要一字不差Ollama 可以直接用自动拉取的列表核对。本机能否访问该端口。在浏览器里直接打开http://localhost:11434/v1/models或对应平台的/v1/models能返回 JSON 说明服务本身没问题剩下的就是 Eigent 侧的填写问题。五、能力边界说明几点需要知道的限制避免预期偏差本地模型只承担对话与推理Eigent 的多智能体流程任务拆解、工具调用、浏览器操作依然在本机执行所以整机资源消耗要留有余量7B 以下模型在复杂长任务中的稳定性会更明显地下降。模型列表自动拉取目前对 Ollama 和 LLaMA.cpp 生效其他平台手动填写模型名即可功能上不受影响。若需要完整源码参与开发可克隆仓库git clone https://gitcode.com/GitHub_Trending/ei/eigent本地模型的平台注册表位于 src/pages/Agents/localModels.ts。配置完成之后你获得的是一个完全离线可用的多智能体工作台换模型、换平台只需要改一个端点地址其余流程保持不变。【免费下载链接】eigentEigent: The Open Source Cowork Desktop - Local and Free Alternative to Claude Cowork and Codex项目地址: https://gitcode.com/GitHub_Trending/ei/eigent创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考