Open WebUI 如何使用 :cuda 镜像与 --gpus all 启动以启用 NVIDIA GPU 支持

Open WebUI 如何使用 :cuda 镜像与 --gpus all 启动以启用 NVIDIA GPU 支持【免费下载链接】open-webuiUser-friendly AI Interface (Supports Ollama, OpenAI API, ...)项目地址: https://gitcode.com/GitHub_Trending/op/open-webui如果你的目标是让 Open WebUI 在 NVIDIA GPU 机器上获得 CUDA 加速官方给出的部署方式是拉取带:cuda标签的镜像并在docker run命令中加上--gpus all参数。这条路径的前提是宿主机为 Linux 或 WSL 系统且已安装 Nvidia CUDA container toolkitNVIDIA 容器运行时组件这一点在 README.md 的 Docker 快速开始章节中有明确说明。完成启动后Open WebUI 会运行在http://localhost:3000。准备条件在执行 GPU 版命令前确认以下几点它们都来自 README.md 的 Docker 安装说明宿主机为Linux 或 WSL系统。要启用 CUDA必须在宿主机上安装Nvidia CUDA container toolkit这是 README 中列出的硬性前提。系统已安装 NVIDIA GPU 与对应驱动Docker 可用。无论使用哪个镜像标签Docker 命令中都必须包含-v open-webui:/app/backend/data。README 以 WARNING 的形式强调这个挂载用于持久化数据库缺少它会导致数据丢失。另外从 Dockerfile 可以看到官方:cuda镜像是通过USE_CUDAtrue构建参数生成的默认使用USE_CUDA_VERcu128注释说明 cu117 对应 CUDA 11、cu121 对应 CUDA 12 均为已测试版本。USE_CUDA为 true 时镜像内会安装对应 CUDA 版本的 torch并且 whisper 与 embedding 模型会在首次使用时下载所以第一次触发语音或 RAG 相关功能时会有下载动作。使用 :cuda 镜像启动容器README 中给出的 GPU 版启动命令如下可直接复制执行docker run -d -p 3000:8080 --gpus all --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda各参数的用途参数说明:cuda镜像标签即启用 CUDA 加速的官方镜像--gpus all将宿主机上所有 GPU 暴露给容器这是启用 GPU 的关键参数-p 3000:8080容器内服务端口为 8080映射到宿主机 3000--add-hosthost.docker.internal:host-gateway让容器能通过host.docker.internal访问宿主机服务例如本地 Ollama-v open-webui:/app/backend/data数据卷挂载持久化数据库README 明确要求必须保留--name open-webui --restart always容器命名与开机自启这条命令与 README 中默认配置命令的区别只有两处镜像标签从:main换成:cuda并追加了--gpus all。如果你只使用 OpenAI API 而不需要 CUDA不需要切换到:cuda标签。可选分支使用 :ollama 镜像并启用 GPU如果你希望在同一个容器里同时运行 Open WebUI 和内嵌的 Ollama而不是连接外部 OllamaREADME 提供的是:ollama镜像加--gpusall的组合docker run -d -p 3000:8080 --gpusall -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama该变体额外挂载了ollama:/root/.ollama数据卷用于持久化 Ollama 的模型数据不使用 GPU 时则去掉--gpusall。两条路径不要混用要么用:cuda连接外部 Ollama/OpenAI 端点要么用:ollama依赖内嵌推理。验证启动结果启动完成后按以下顺序核对访问入口浏览器打开http://localhost:3000应能看到 Open WebUI 页面。健康检查后端提供/health端点见 backend/open_webui/main.py返回{status: true}。宿主机上可以用curl http://localhost:3000/health请求该路径。确认 CUDA 已被镜像启用容器入口脚本 backend/start.sh 在检测到USE_CUDA_DOCKERtrue:cuda镜像构建时即为此值时会向日志输出CUDA enabled — extending LD_LIBRARY_PATH for torch/cudnn libraries.并将 torch 与 cuDNN 的库路径加入LD_LIBRARY_PATH。执行docker logs open-webui可以看到这一行说明镜像内的 CUDA 分支确实生效。排查与限制Ollama 连接失败如果 WebUI 容器无法访问本机 Ollama容器内对应127.0.0.1:11434/host.docker.internal:11434README 的 Troubleshooting 部分给出的解法是改用--networkhost网络模式此时端口映射不再需要直接访问http://localhost:8080docker run -d --networkhost -v open-webui:/app/backend/data -e OLLAMA_BASE_URLhttp://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main该示例使用的是:main标签README 未展示:cuda与--networkhost组合的完整命令需要 GPU 时可在该命令基础上自行替换标签并加--gpus all但请以实际环境验证为准。CUDA toolkit 缺失宿主机没有安装 Nvidia CUDA container toolkit 时--gpus all无法把 GPU 暴露给容器这是 README 明确列出的前置条件遇到 GPU 不可用问题应先检查这一项。首次使用下载模型如前所述:cuda镜像的 whisper 与 embedding 模型是首次使用时才下载离线环境可参考 README 的 Offline Mode 说明设置HF_HUB_OFFLINE1。【免费下载链接】open-webuiUser-friendly AI Interface (Supports Ollama, OpenAI API, ...)项目地址: https://gitcode.com/GitHub_Trending/op/open-webui创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考