Transformers 框架：3 行代码跑通上千万个预训练模型的推理与训练

Transformers 框架3 行代码跑通上千万个预训练模型的推理与训练【免费下载链接】transformers Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.项目地址: https://gitcode.com/GitHub_Trending/tra/transformers想在项目里快速接上大模型推理却要先自己写数据预处理、权重加载和输出后处理流程繁琐还容易踩坑。Transformers 是 Hugging Face 生态的模型定义框架3 行代码即可调用文本、图像、音频领域的上千万个预训练模型也支持继续训练微调。技术栈中的定位统一模型定义的枢纽Transformers 处在模型权重与各类框架之间。它集中定义每个模型的结构和接口同一份定义在整个生态里通用。目前覆盖数百种模型架构配套的预训练模型权重超过 100 万个。你用 DeepSpeed、FSDP 训练或用 vLLM、SGLang 部署拿到的都是同一套定义不用为不同引擎重写转换代码。和其他框架相比它的抽象只有 3 个核心类学完就能通吃所有模型。核心机制速览三个类走完全流程AutoTokenizer把文本转成模型能读的数值也就是分词AutoModel按架构名加载对应的预训练权重Pipeline高级推理接口把预处理、推理、后处理封装成一次函数调用Trainer封装训练循环负责打乱数据、混合精度、梯度累积和保存检查点一套 API 覆盖四大模态任务能做什么文本生成给开头续写句子或回答问题图像分类输出类别标签和置信度分数语音识别把一段音频文件转写成文字视觉问答看图后直接回答所提问题从零到跑通环境要求Python 3.10 及以上PyTorch 2.5 及以上克隆仓库并安装依赖git clone https://gitcode.com/GitHub_Trending/tra/transformers cd transformers pip install transformers[torch]最小可运行示例from transformers import pipeline # 创建流水线自动下载模型并缓存下次直接复用 pipe pipeline(tasktext-generation, modelQwen/Qwen2.5-1.5B) # 传入开头文本模型返回续写内容 result pipe(做好蛋糕的关键是 ) print(result[0][generated_text])也可以在命令行直接和模型对话transformers chat 模型名。完整 API 说明见 docs/source/en/官方训练脚本在 examples/pytorch/。最常调整的配置参数learning_rate默认 5e-05 → 控制微调步长敏感模型可降到 1e-5per_device_train_batch_size默认 8 → 每张卡的批次大小显存富余就调大gradient_accumulation_steps默认 1 → 显存不够时用梯度累积模拟更大批次max_length默认 512 → 超出长度的输入会被截断别短于你的最长样本device_map默认 None → 设为 auto 可把大模型自动切分到多张卡实际能解决什么问题聊天应用原型半天搭出可对话的智能体。例子加载 Qwen2.5-1.5B几行代码得到带上下文的问答循环。生成内容打分微调 DeBERTa-v3 这类分类模型给 AI 文本评分。例子用它输出 0 到 1 的分数在 RLHF 流程里当奖励信号替代人工标注。多模态内容理解给一张图加一个问题直接拿答案。例子传入厨房照片问图中有什么模型返回对应的目标标签。一句话总结Transformers 把用上最先进模型从数周工程压缩到 3 行代码而且同一份代码从推理通到训练。如果你正在评估大模型落地方案直接克隆仓库先跑通 pipeline熟了之后再照着 examples/pytorch/ 移植自己的任务。【免费下载链接】transformers Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.项目地址: https://gitcode.com/GitHub_Trending/tra/transformers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考