从克隆到对话：本地部署 TextGen 的完整实战

从克隆到对话本地部署 TextGen 的完整实战【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen跑起来之后你会在浏览器里得到一个能聊天、能调工具、能挂 OpenAI 兼容 API 的本地大模型界面。TextGen 是开源的本地 LLM 桌面/Web 界面文本、视觉、工具调用、OpenAI/Anthropic 兼容接口全程离线、零遥测。本地部署环境、克隆、装依赖一次到位做完这一步你手上多了一个随时能启动的虚拟环境。先确认装了 Python 3.9 和 git其余不用操心。①拉取仓库git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui cd text-generation-webui②建虚拟环境python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate③装依赖按硬件选对应的 requirements 文件pip install -r requirements/portable/requirements.txt --upgrade放模型、配启动服务就跑起来了做完这一步你手上多了一个会自动认出你的模型、并且对外提供服务的运行实例。从 Hugging Face 下好一个 GGUF 量化文件放进user_data/models目录即可界面会自动检测不用改任何配置。然后一条命令启动python server.py --portable --api --auto-launch--auto-launch会让浏览器直接弹出界面地址是http://127.0.0.1:7860加上--api后http://127.0.0.1:5000就是兼容 OpenAI 的接口端点文档在http://127.0.0.1:5000/docs。这步最容易被忽略卡住不动时多半是 7860 端口被占用或者忘了激活虚拟环境。策略配置 链路验证做完这一步你手上多了一套能控制输出风格与行为的策略外加一次低成本验证。聊天模式分三档instruct 适合指令型模型chat / chat-instruct 适合角色扮演类。采样参数在参数页调也可以直接用user_data/presets下的 Temperature、Top-P 等预设一键切换。内置工具放在user_data/tools每个工具就是一个 Python 文件比如 roll_dice.py 和 calculate.py模型聊天时可以真的去调用它们。动手前一定先回测先挂一个 1B~3B 的小模型把整个链路跑通再换成目标模型。参数不对能立刻暴露不用在 70B 上反复试错。排障速查问题常见原因一句话解法启动失败虚拟环境没激活或依赖没装全重新source venv/bin/activate再装一次依赖端口被占用7860 已被其他服务占用--listen-port 8000换个端口API 无响应忘了加--api参数启动命令里补上--api显存不足模型太大或量化太粗换更小量化或加--cpu走 CPU模型没被识别GGUF 没放对目录确认文件在user_data/models下接下来可以玩什么做完上面这些你已经有了完整的本地服务下面几件事值得接着试用 OpenAI API 文档 里的 curl 例子打一遍5000端口确认现有应用能无缝切过来。照着user_data/tools里的现成文件写一个自己的单文件工具比如查日历或读本地日志让模型在对话中直接调用。换后端完整安装start_linux.sh/start_windows.bat后可用 Transformers、ExLlamaV3 等加载器多卡用户可以试--tensor-split拆模型。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考