大模型：预训练、微调、压缩 核心技术

一、预训练目标从零训练通用底座数据大规模语料清洗、去重、分词、数据过滤模型架构Transformer主流训练分布式训练、混合精度训练、梯度累积、学习率调度优化器AdamW、LAMB并行数据并行、张量并行、流水线并行、ZeRO 显存优化二、微调目标定制模型能力 / 风格常规微调SFT 有监督微调、全参数微调轻量微调主流LoRA、QLoRA、Prefix Tuning、Prompt Tuning、Adapter对齐优化RLHF、DPO、IPO人类偏好对齐配套指令数据集构建、损失函数优化三、模型压缩目标瘦身、降显存、提速、本地部署量化最常用INT8 (Q8)、INT4 (Q4)、GGUF 量化、K-quant剪枝移除冗余权重 / 神经元蒸馏大模型 (教师)→小模型 (学生)稀疏化激活稀疏、权重稀疏轻量化架构模型结构简化、参数精简流程海量数据 分布式训练预训练→ 轻量微调 / LoRA定制→ 量化 Q4/Q8压缩部署