如何快速上手LFM2.5-ColBERT-350M-4bitApple Silicon上的4位量化检索模型【免费下载链接】LFM2.5-ColBERT-350M-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/LFM2.5-ColBERT-350M-4bitLFM2.5-ColBERT-350M-4bit是一款专为Apple Silicon优化的高效4位量化检索模型基于MLX框架构建能够在本地设备上实现高性能的多语言文本检索任务。该模型通过先进的4位量化技术在保持98.7%检索质量的同时将模型体积压缩至199MB为开发者提供了在苹果芯片上部署高效检索系统的理想选择。模型简介什么是LFM2.5-ColBERT-350M-4bitLFM2.5-ColBERT-350M-4bit是LiquidAI/LFM2.5-ColBERT-350M模型的MLX转换版本专为Apple Silicon设备优化。它采用了创新的4位量化技术affine模式分组大小64将所有线性层和嵌入层包括1024→128的Dense投影头进行量化同时保持非量化层如卷积层、归一化层为bfloat16精度。该模型是一种多语言后期交互检索器为每个标记生成128维向量使用MaxSim进行评分。这种架构特别适合于需要高效文本相似度计算的应用场景如搜索引擎、问答系统和推荐引擎等。核心优势为何选择4位量化版本高效性能与质量平衡LFM2.5-ColBERT-350M-4bit在保持高性能的同时实现了显著的模型压缩模型体积从bf16版本的707MB压缩至仅199MB检索质量NDCG10保持98.7%Recall10保持99.7%多语言支持支持英语、西班牙语、德语、法语、意大利语、葡萄牙语、阿拉伯语、瑞典语、挪威语、日语和韩语等多种语言专为Apple Silicon优化通过MLX框架该模型充分利用Apple Silicon的硬件优势实现高效本地推理。MLX是专为Apple芯片设计的机器学习框架提供了优化的计算图和内存管理使LFM2.5-ColBERT-350M-4bit能够在MacBook、Mac mini等设备上流畅运行。快速开始安装与基本使用环境准备在开始使用LFM2.5-ColBERT-350M-4bit之前请确保您的系统满足以下要求Apple Silicon设备M1及以上芯片macOS系统Python 3.8或更高版本MLX框架安装步骤克隆仓库git clone https://gitcode.com/hf_mirrors/mlx-community/LFM2.5-ColBERT-350M-4bit cd LFM2.5-ColBERT-350M-4bit安装依赖pip install mlx transformers sentencepiece基本使用示例以下是使用LFM2.5-ColBERT-350M-4bit进行文本编码的简单示例import mlx.core as mx from lfm2_bidirectional import ColbertModel, ModelArgs import json # 加载配置 with open(config.json, r) as f: config json.load(f) args ModelArgs.from_dict(config) # 加载模型 model ColbertModel(args, proj_dimconfig[mlx][proj_dim]) model.load_weights(model.safetensors) model.eval() # 准备输入 query [Q] What is machine learning? document [D] Machine learning is a subset of artificial intelligence that enables systems to learn and improve from experience without being explicitly programmed. # 标记化文本实际使用中需使用适当的标记器 # 此处为简化示例实际应用需使用完整的标记化流程 query_ids mx.array([[1] [2] * len(query.split()) [7]]) # 1: BOS, 7: EOS doc_ids mx.array([[1] [2] * len(document.split()) [7]]) # 编码文本 query_emb model.encode(query_ids) doc_emb model.encode(doc_ids) # 计算相似度MaxSim similarity mx.max(mx.matmul(query_emb, doc_emb.transpose(0, 2, 1)), axis(1, 2)) print(fQuery-Document Similarity: {similarity.item()})技术细节模型架构与量化模型架构LFM2.5-ColBERT-350M-4bit基于LFM2.5-350M-Base混合骨干网络包含以下关键组件混合层结构结合短卷积层和GQA注意力层SwiGLU MLP提高模型表达能力RMSNorm优化训练稳定性双向注意力无因果掩码仅使用填充掩码非因果短卷积中心对称填充模型配置详情可在config.json中查看包括隐藏层大小1024注意力头数16隐藏层数16词汇表大小64402最大位置嵌入128000量化细节该模型使用mlx.nn.quantize(modeaffine, bits4, group_size64)进行量化具有以下特点位精确验证重新加载的检查点编码与内存中量化模型完全相同最大绝对差为0量化应用在加载权重前从config.json[quantization]应用量化参数选择性量化所有线性层和嵌入层均被量化非量化层保持bfloat16精度量化配置可在config.json的quantization部分找到quantization: { mode: affine, bits: 4, group_size: 64 }评估结果性能表现LFM2.5-ColBERT-350M-4bit在多个数据集上进行了评估以下是8个数据集的平均结果精度NDCG10NDCG保持率Recall10Recall保持率大小bf160.740100.0%0.780100.0%707 MB8-bit0.741100.0%0.77999.4%376 MB4-bit0.73198.7%0.78099.7%199 MBmxfp40.73098.5%0.77398.8%—从结果可以看出4位量化版本在将模型体积减少72%的同时保持了98.7%的NDCG和99.7%的Recall展现了出色的性能-效率平衡。许可证与归因LFM2.5-ColBERT-350M-4bit根据LFM Open License v1.0许可协议分发与原始模型相同。根据第4节本仓库记录了文件经过修改格式转换为MLX 4位量化。原始工作由Liquid AI完成本仓库是独立转换不隶属于Liquid AI或由其认可。许可证包含商业使用阈值第5节— 请根据您的使用案例进行审查。基础模型LiquidAI/LFM2.5-ColBERT-350M总结LFM2.5-ColBERT-350M-4bit为Apple Silicon用户提供了一个高效、高质量的文本检索解决方案。通过4位量化技术它在保持近99%检索质量的同时大幅减少了模型体积和内存占用使其成为本地部署和边缘计算的理想选择。无论是构建搜索引擎、问答系统还是推荐引擎LFM2.5-ColBERT-350M-4bit都能提供卓越的性能和效率。【免费下载链接】LFM2.5-ColBERT-350M-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/LFM2.5-ColBERT-350M-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
