快速部署 MiniMind：轻量模型本地运行与 WebUI 搭建完整流程

快速部署 MiniMind轻量模型本地运行与 WebUI 搭建完整流程【免费下载链接】minimind Train a 64M-parameter LLM from scratch in just 2h!项目地址: https://gitcode.com/GitHub_Trending/min/minimind在没有独立显卡的办公电脑上跑一个能对话的 AI 助手过去通常意味着装不下一张 7B 的模型。MiniMind 是另一个量级的方案这是一个用纯 PyTorch 从零实现的小语言模型项目主线版本 minimind-3 只有 64M 参数纯 CPU 即可完成推理并自带基于 Streamlit 的网页聊天界面。本文按装环境 → 拿代码 → 下模型 → 跑通推理 → 起 WebUI的顺序走一遍全部命令均可直接执行。硬件与系统要求MiniMind 的部署门槛很低CPU 推理就够用GPU 只是让响应更快。配置档位CPU内存GPU磁盘空间最低配置双核 x86_644GB无纯 CPU 推理1GB 可用推荐配置四核及以上8GBNVIDIA GPUCUDA5GB 可用软件层面只需要 Python 3.10其余依赖全部由仓库的 requirements.txt 锁定版本其中 transformers4.57.6、streamlit1.50.0、numpy1.26.4、Flask3.0.3。部署主线第 1 步克隆仓库并安装依赖以下命令克隆代码仓库并一次性装齐所有依赖建议先建一个干净的虚拟环境避免与机器上已有的 torch 版本互相污染git clone https://gitcode.com/GitHub_Trending/min/minimind cd minimind pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple执行完毕后没有任何报错、且pip list里能看到上述锁定版本这一步就完成了。第 2 步下载模型权重modelscope 客户端已在依赖列表中直接用命令行把模型拉到本地目录modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3看到./minimind-3目录中出现config.json和.safetensors权重文件即成功。如果只想体验最小的 26M 参数版本把模型名换成gongjy/MiniMind2-Small、目录换成./minimind2-small即可。第 3 步首次命令行推理在项目根目录直接运行评测脚本它会加载上一步下载好的 transformers 格式模型并进入交互模式python eval_llm.py --load_from ./minimind-3看到脚本开始逐字流式打印模型回答、并附 tokens/s 的解码速度说明推理链路已经打通。脚本会自动检测设备有 CUDA 就走 GPU否则退回 CPU。输入--help可以查看全部参数常用的是--max_new_tokens生成长度、--temperature随机性和--device强制指定设备如--device cpu。WebUI 搭建WebUI 入口在 WebUI 脚本目录 下的web_demo.py启动前有一个容易漏掉的前置动作。先把模型复制到 scripts/ 下web_demo.py只会扫描scripts/目录中包含权重文件.bin/.safetensors/.pt的子文件夹来生成模型下拉列表找不到就报 No models found。因此需要把模型目录复制进去cp -r minimind-3 scripts/启动并访问页面接下来用 Streamlit 拉起页面cd scripts streamlit run web_demo.py浏览器打开终端里给出的地址默认 http://localhost:8501看到对话界面即部署完成。界面上能做什么 ️侧边栏提供几组可调项模型选择scripts/ 下扫描到的每个模型、历史对话轮次0~8、最大生成长度256~8192和温度。功能开关包括思考对应open_thinking开启后回答前会先输出折叠的思考过程和工具最多勾选 4 个内置工具如时间、数学计算、翻译模型可发起多轮 Tool Call界面支持中/英切换。访问不到页面时的排查点终端是否停在 You can now view your Streamlit app 之后、没有异常栈8501 端口被占用时换一个端口streamlit run web_demo.py --server.port 8502页面显示 No models found说明第 1 步的模型复制没做或路径不对远程机器上访问时确认防火墙放行了对应端口。常见问题Q1pip 安装时报版本冲突requirements.txt 锁死了各库版本和已有环境尤其是旧版 torch冲突很正常。用python -m venv建全新环境再装即可不要把训练依赖和推理依赖混在默认 Python 里。Q2CPU 上推理速度偏慢64M 模型在 CPU 上的解码速度本身可观慢主要出现在长回复上把max_new_tokens调小会明显变快追求极致轻快可以换 26M 的MiniMind2-Small。训练场景见 trainer 目录则建议配 GPU。Q3torch.cuda.is_available() 返回 False不影响部署——推理脚本和web_demo.py都会自动退回 CPU 运行。想真正用 CUDA按 PyTorch 官方指引安装与本机驱动匹配的 torch 版本再重装一次 requirements 即可。Q4WebUI 启动报错但本地推理正常九成是模型没复制到scripts/下web_demo.py不读项目根目录的模型路径只扫自身所在目录。Q5换端口后浏览器仍打不开先确认 Streamlit 进程还活着CtrlC 会退出再用终端访问localhost:端口验证本机可达最后才考虑防火墙问题。写在最后到这里一台普通电脑上的 MiniMind 就已经从命令行和网页两个入口跑通了。想继续深入的话下一步通常是用 LoRA 微调脚本 让它学会私有领域的问答或者用 OpenAI 兼容 API 服务 把 MiniMind 暴露成标准接口接进 FastGPT、Open-WebUI 等第三方前端。【免费下载链接】minimind Train a 64M-parameter LLM from scratch in just 2h!项目地址: https://gitcode.com/GitHub_Trending/min/minimind创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考