MLX-VLM 0.6.3使用教程轻松调用Ornith-1.0-35B-4bit实现图文交互【免费下载链接】Ornith-1.0-35B-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-4bitOrnith-1.0-35B-4bit是基于MLX框架的4位量化模型专为Apple Silicon优化能高效实现图文交互功能。本教程将帮助你快速掌握使用MLX-VLM 0.6.3调用该模型的方法轻松搭建自己的图文交互应用。模型简介什么是Ornith-1.0-35B-4bitOrnith-1.0-35B-4bit是由mlx-community提供的量化模型基于deepreinforce-ai/Ornith-1.0-35B原始模型转换而来采用4位组大小644.649 bits/weight量化技术。该模型保留了完整的视觉编码器可同时处理图像和文本输入非常适合在Apple Silicon设备上运行。模型特点全 multimodal 支持可处理图像和文本输入4位量化设计资源占用低适合本地部署专为MLX框架优化在Apple Silicon上性能优异支持高达512 tokens的生成长度准备工作环境搭建步骤安装MLX-VLM使用uvx工具快速安装mlx-vlmuvx --from mlx-vlm mlx_vlm.generate获取模型文件通过以下命令克隆模型仓库git clone https://gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-4bit模型文件结构配置文件config.json、generation_config.json模型权重model-00001-of-00004.safetensors 至 model-00004-of-00004.safetensors分词器文件tokenizer.json、vocab.json快速上手使用命令行调用模型基础图文描述命令运行以下命令让模型描述图片内容uvx --from mlx-vlm mlx_vlm.generate \ --model mlx-community/Ornith-1.0-35B-4bit --image image.png \ --prompt Describe this image. --max-tokens 512参数说明--model指定模型路径--image输入图片路径--prompt文本提示--max-tokens最大生成 tokens 数调整生成参数根据generation_config.json文件你可以调整生成参数uvx --from mlx-vlm mlx_vlm.generate \ --model mlx-community/Ornith-1.0-35B-4bit --image image.png \ --prompt Whats in this image? --max-tokens 512 \ --temperature 0.7 --top_p 0.9常用参数--temperature控制输出随机性0-1值越低越确定--top_p核采样参数控制输出多样性进阶应用Python API调用基础Python示例使用Python代码调用模型from mlx_vlm import load, generate # 加载模型和处理器 model, processor load(mlx-community/Ornith-1.0-35B-4bit) # 准备输入 image processor.load_image(image.png) prompt Describe this image in detail. # 生成响应 response generate(model, processor, image, prompt, max_tokens512) print(response)自定义生成配置你可以通过代码自定义生成配置覆盖generation_config.json中的默认设置from mlx_vlm import load, generate model, processor load(mlx-community/Ornith-1.0-35B-4bit) image processor.load_image(image.png) prompt Explain whats happening in this image. # 自定义生成参数 generation_kwargs { temperature: 0.8, top_k: 30, top_p: 0.92, max_tokens: 1024 } response generate(model, processor, image, prompt, **generation_kwargs) print(response)性能表现在Apple Silicon上的运行效果根据测试Ornith-1.0-35B-4bit在Macbook Pro M5 Max 128GB 40 GPU上表现优异生成速度103.7 tok/s提示处理速度89.4 tok/s峰值内存占用20.9 GB模型经过文本提示测试能够连贯地解决问题如计算17 * 24 408并提供正确的分步推理无重复循环问题。常见问题解答Q: 模型支持哪些图片格式A: 支持常见图片格式如PNG、JPG、JPEG等通过processor.load_image()方法加载。Q: 如何提高生成速度A: 可以尝试降低max_tokens参数或适当提高temperature值。Q: 模型对硬件有什么要求A: 推荐在Apple Silicon设备上运行至少需要24GB内存以确保流畅运行。Q: 能否在Windows或Linux上使用A: 该模型专为MLX框架优化主要支持Apple Silicon其他平台可能需要额外配置。总结Ornith-1.0-35B-4bit是一款高效的图文交互模型结合MLX-VLM 0.6.3可以在Apple Silicon设备上实现快速的本地图文处理。无论是通过命令行还是Python API都能轻松调用模型为你的应用添加强大的多模态能力。如需了解更多细节请参考项目中的README.md文件或查看原始模型卡片获取架构、基准测试和使用许可等信息。【免费下载链接】Ornith-1.0-35B-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
