如何正确部署DeepSeek R1，坚决不建议ollama，看完这一篇你就懂了！！

前言各大文章都在讲如何通过ollama运行DeepSeek R1蒸馏版我也深以为然但我一直是通过vllm来运行的想着都是同样的模型也就觉得没什么不同了。可是今晚在测试ollama时发现不对啊。服务器上资源有限我使用了vllm来运行deepseek-ai/DeepSeek-R1-Distill-Qwen-32B经过多次尝试后context-length只能达到15,520的数量在我测试智能体时经常不够用甚是困扰。后来查阅ollama上的模型文件deepseek-r1:32b发现其contenxt-length达到13万这很可观因此就想下载试用一下。经过长达一天的龟速下载终于可以使用了。可是一运行推理代码就报错了根本不输出啊。我这里罗列几个SYSTEMP PROMPT:一连串信息大致意思就是让它生成json格式的指令USER PROMPT:请分别检索大连海事大学、武汉理工大学、集美大学和上海海事大学近一星期的动态并形成报告来看结果空白{}换学校{id:search_1,task:使用Google搜索查找四所高校的最新动态或新闻。,tool:google_search_tool,params:{search_term:清华大学 北京大学 浙江大学 复旦大学 最新动态 新闻,top_k:20}}直接给你杜撰一段文字{%:4,^:-,4:11}使用vllm运行的办法这个方法其实也比较简单我比较建议使用docker来运行。假设操作系统Linux我是用Linux系统Windows系统其实也一样的因为用Docker也就不用太多区分系统了。模型目录~/models前提安装好Docker和nvidia运行时环境。有python运行环境也就是有pip或者pip3命令。下载模型我喜欢从modelscope上下载就在国内速度也快。# install modelscopepip install modelscope# download modelmodelscope download--model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B README.md--local_dir~/models/DeepSeek-R1-Distill-Qwen-32B运行模型docker run \--rm-d \--runtime nvidia \--gpusall\-v $(pwd)/models:/models \-p8000:8000\--ipchost \ vllm/vllm-openai:latest \--model/models/DeepSeek-R1-Distill-Qwen-32B \--served-model-name deepseek-reasoner \--max-model-len15520\--gpu-memory-utilization0.9后面的--max-model-len可以根据机器情况来定。前端前端你用AnythingLLM、Chatbox之类的都可以。疑惑同样都是DeepSeek-R1-Distill-Qwen-32B不知道为什么ollama效果这么差。最后的最后感谢你们的阅读和喜欢作为一位在一线互联网行业奋斗多年的老兵我深知在这个瞬息万变的技术领域中持续学习和进步的重要性。为了帮助更多热爱技术、渴望成长的朋友我特别整理了一份涵盖大模型领域的宝贵资料集。这些资料不仅是我多年积累的心血结晶也是我在行业一线实战经验的总结。这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习相信它们一定能为你提供实质性的帮助。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】