本文目录一、为什么选择这套方案?1.1 技术背景1.2 硬件选型说明二、环境准备2.1 核心组件版本锁定2.2 资源下载三、部署流程3.1 启动容器3.2 环境变量配置3.3 主节点启动(Node 0)3.4 副节点启动(Node 1)四、验证与测试4.1 快速验证4.2 性能基准测试五、常见问题六、总结一、为什么选择这套方案?1.1 技术背景去年底DeepSeek发布的R1-671B模型在推理能力上取得了突破,但6710亿参数的体量让部署成为难题。好消息是,通过W8A8量化(权重和激活都用8位整数),配合MoE架构的稀疏激活特性,实际推理时只需激活约370亿参数,这让双卡部署成为可能。我们这次用的是vLLM-Ascend方案——这是vLLM官方认证的昇腾后端,不是第三方魔改版本。它的核心优势在于:PagedAttention技术:把KV Cache管理得像操作系统分页内存一样精细,显存利用率能提升到90%以上低侵入式架构:所有昇腾相关代码都在独立插件里,主代码库保持干净,升级维护都方便性能实测:相比FP16精度几乎无损,吞吐量还能提升1.6倍1.2 硬件选型说明这次部署用的是2台Atlas 800I A2服务器,每台配8张64GB显存的NPU卡。为什么是这个配置?显存计算:W8A8量化后模型约需670GB显存(671B参数×1字节/参数),双机16卡正好够用还有余量互联带宽:服务器间走RoCE网络,单向带宽100Gbps,能撑住跨机TP通信性价比:相比单机16卡方案,双机部署更灵活,后期扩展也方便二、环境准备2.1 核心组件版本锁定部署大模型最怕版本不兼容,下面这张表是实测稳定的版本组合,建议照抄:组件版本关键说明硬件Atlas 800I A2 (64GB) × 2台单台8卡,总计16卡基础镜像MindIE v0.9.1-dev-openeuler已集成CANN/torch_npu/vllm/vllm-ascend操作系统openEuler 24.03 LTS昇腾官方适配系统编译工具链GCC 12 / 适配工具链7.3.0编译扩展算子必备Python3.10镜像内置3.112.2 资源下载模型权重ModelScope地址:https://www.modelscope.cn/models/vllm-ascend/DeepSeek-R1-0528-W8A8Docker镜像华为官方镜像仓库(推荐用这个,省去环境配置):quay.io/repository/ascend/vllm-ascend?tabtags选择v0.9.1-dev-openeuler标签三、部署流程3.1 启动容器在两台服务器上分别执行(注意替换容器名和镜像名):dockerrun--namedeepseek-node0\--nethost --shm-size500g\--device/dev/davinci0\--device/dev/davinci1\--device/dev/davinci2\--device/dev/davinci3\--device/dev/davinci4\--device/dev/davinci5\--device/dev/davinci6\--device/dev/davinci7\--device/dev/davinci_manager\--device/dev/devmm_svm\--device/dev/hisi_hdc\-v/usr/local/dcmi:/usr/local/dcmi\-v/usr/local/bin/npu-smi:/usr/local/bin/npu-smi\-v/usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/\-v/usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info\-v/etc/ascend_install.info:/etc/ascend_install.info\-v/root/.cache:/root/.cache\-v/your/model/path:/models\-p8000:8000\-itquay.io/ascend/vllm-ascend:v0.9.1-dev-openeulerbash几个关键点:--shm-size500g:共享内存必须给够,否则多进程通信会卡--device:把8张NPU卡和管理设备都映射进容器-v /your/model/path:/models:模型权重挂载,记得改成实际路径3.2 环境变量配置进入容器后执行(两台机器都要配):# 加载CANN工具链source/usr/local/Ascend/ascend-toolkit/set_env.sh# 网络配置(关键!)exportHCCL_IF_IP$(hostname-I|awk{print $1})# 用ifconfig查看实际网卡名,我这边是enp61s0f0exportHCCL_SOCKET_IFNAMEenp61s0f0exportTP_SOCKET_IFNAMEenp61s0f0exportGLOO_SOCKET_IFNAMEenp61s0f0# HCCL通信优化exportHCCL_BUFFSIZE1024exportHCCL_CONNECT_TIMEOUT7200exportHCCL_OP_EXPANSION_MODEAIV# 内存管理exportPYTORCH_NPU_ALLOC_CONFexpandable_segments:TrueexportTASK_QUEUE_ENABLE1# 并行优化exportOMP_PROC_BINDfalseexportOMP_NUM_THREADS100# vLLM配置exportVLLM_USE_V11# 启用V1架构exportVLLM_LOGGING_LEVELWARNING踩坑提醒:HCCL_SOCKET_IFNAME一定要设对网卡,不然跨机通信直接断HCCL_CONNECT_TIMEOUT设7200秒是因为模型加载慢,默认值会超时3.3 主节点启动(Node 0)假设主节点IP是10.226.72.51,在主节点容器内执行:vllm serve /models/DeepSeek-R1-0528-W8A8\--host0.0.0.0\--port8000\--trust-remote-code\--gpu-memory-utilization0.9\--no-enable-prefix-caching\--max-model-len8192\--max-num-batched-tokens8192\--max-num-seqs256\--data-parallel-size2\--data-parallel-size-local1\--data-parallel-address10.226.72.51\--data-parallel-rpc-port13389\--tensor-parallel-size8\--block-size128\--seed1024\--enable-expert-parallel\--quantizationascend\--additional-config{ascend_scheduler_config:{enabled:false},torchair_graph_config:{enabled:true}}参数解读:--data-parallel-size 2:数据并行度2,对应2台机器--tensor-parallel-size 8:张量并行度8,单机8卡做模型切分--enable-expert-parallel:MoE专家并行,必须开启--gpu-memory-utilization 0.9:显存利用率90%,留10%给临时变量--no-enable-prefix-caching:关闭前缀缓存,避免显存碎片化torchair_graph_config:启用图编译优化,能再提速10%左右3.4 副节点启动(Node 1)主节点启动后马上在副节点执行(不用等主节点就绪):vllm serve /models/DeepSeek-R1-0528-W8A8\--host0.0.0.0\--port8000\--trust-remote-code\--headless\--gpu-memory-utilization0.9\--no-enable-prefix-caching\--max-model-len8192\--max-num-batched-tokens8192\--max-num-seqs256\--data-parallel-size2\--data-parallel-size-local1\--data-parallel-start-rank1\--data-parallel-address10.226.72.51\--data-parallel-rpc-port13389\--tensor-parallel-size8\--block-size128\--seed1024\--enable-expert-parallel\--quantizationascend\--additional-config{ascend_scheduler_config:{enabled:false},torchair_graph_config:{enabled:true}}注意差异:加了--headless:副节点不启动API服务器,只做推理worker--data-parallel-start-rank 1:数据并行rank从1开始(主节点是0)四、验证与测试4.1 快速验证等主节点日志出现Uvicorn running on http://0.0.0.0:8000后,执行:curl-HContent-Type: application/json\-XPOST http://10.226.72.51:8000/v1/chat/completions\-d{ model: /models/DeepSeek-R1-0528-W8A8, messages: [{role: user, content: 解释一下量子纠缠}], max_tokens: 100, stream: false }正常的话会返回JSON格式的回复,首次请求较慢(图编译),后续就快了。结果显示帮我我返回如下json格式量子纠缠是量子力学中的一种现象指两个或多个粒子之间存在一种特殊的关联使得它们的量子状态不能被分别描述而只能作为一个整体来描述即使这些粒子在空间上相距遥远。这种关联是超距的似乎违反了局域性原理但这是量子世界的基本特性之一。出来的结果还是十分正确的条理清晰可读。4.2 性能基准测试用昇腾自带的ais-bench工具跑benchmark:# 安装ais-benchpipinstallais-bench# 测试吞吐量ais-bench--modelhttp://10.226.72.51:8000\--datasetShareGPT_V3_unfiltered_cleaned_split.json\--num-prompts1000\--request-rate10实测数据参考:首token延迟:约180ms(FP16是150ms,在可接受范围)生成速度:约45 tokens/s/用户(256并发下)吞吐量:峰值11500 tokens/s(双机16卡)五、常见问题Q: 启动时报错HCCL init failed?A: 检查环境变量HCCL_SOCKET_IFNAME网卡名是否正确,用ifconfig确认Q: 显存不够怎么办?A: 调低--gpu-memory-utilization到0.85或减少--max-model-lenQ: 精度下降明显怎么办?A: 检查量化配置,确认模型是官方W8A8版本而非自己量化的Q: 如何升级到更新版本?A: 关注vLLM-Ascend官方仓库,通常季度更新一次大版本六、总结这套方案的核心价值在于把千亿级MoE模型的部署成本降到了两台服务器的级别,而且性能和精度都没打太多折扣。对比国外同类方案,昇腾硬件的性价比优势明显,特别适合预算有限但又想用顶级模型的团队。后续我们会继续测试更长的上下文长度(32K)和专家并行的优化空间,有新进展会同步更新。
