如何在Mac上快速部署Qwen-AgentWorld-35B-A3B-bf16：5分钟入门教程

如何在Mac上快速部署Qwen-AgentWorld-35B-A3B-bf165分钟入门教程【免费下载链接】Qwen-AgentWorld-35B-A3B-bf16项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen-AgentWorld-35B-A3B-bf16Qwen-AgentWorld-35B-A3B-bf16是一款专为Apple Silicon优化的全精度bfloat16MLX模型基于Qwen/Qwen-AgentWorld-35B-A3B构建可在mlx-lm、oMLX或任何MLX应用中运行让你在Mac上轻松体验强大的文本生成能力。准备工作检查系统要求在开始部署前请确保你的Mac满足以下条件搭载Apple Silicon芯片如M系列至少128GB统一内存因模型峰值内存需求约69GB约65GB可用磁盘空间部署步骤5分钟快速启动1. 安装MLX环境首先需要安装mlx-lm工具打开终端执行以下命令pip install mlx-lm2. 获取模型文件通过git克隆仓库获取模型文件git clone https://gitcode.com/hf_mirrors/mlx-community/Qwen-AgentWorld-35B-A3B-bf16 cd Qwen-AgentWorld-35B-A3B-bf163. 运行模型使用mlx_lm.generate命令启动模型mlx_lm.generate --model . \ --system-prompt You are a language world model simulating a Linux terminal. Given the users command, predict the terminal output. \ --prompt $Action: execute_bash\nCommand: ls -la /home/user/project/ \ --max-tokens 512 --temp 0.6性能表现在Mac上的运行效率在Macbook Pro M5 Max 128GB 40 GPU上的测试数据显示上下文pp/tg首次输出时间解码速度预填充速度峰值内存1024 / 128644 ms77 tok/s1591 tok/s65.6 GB4096 / 1281.68 s76 tok/s2434 tok/s66.4 GB提示如果你的Mac内存较小可考虑使用量化版本如oQ4约19GB或oQ3.5约16GB在减少内存占用的同时保持良好性能。使用技巧优化模型输出推荐采样参数temperature0.6top_p0.95top_k20模型默认使用思考模式/think.../RichMediaReference可参考base model card了解七个代理领域及特定系统提示常见问题Q: 模型支持多模态功能吗A: 不支持。虽然配置文件中声明了vision_config但实际没有提供视觉或MTP权重这是一个纯文本语言模型。Q: 如何减少模型内存占用A: 可使用项目提供的量化版本如oQ4或oQ3.5能在保持性能的同时大幅降低内存需求。通过以上步骤你已成功在Mac上部署Qwen-AgentWorld-35B-A3B-bf16模型开始探索其强大的文本生成能力吧如有其他问题可查阅项目中的配置文件如config.json和generation_config.json获取更多信息。【免费下载链接】Qwen-AgentWorld-35B-A3B-bf16项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen-AgentWorld-35B-A3B-bf16创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考