知识蒸馏中教师模型的推理习惯比分数更重要

你花了一周时间调好蒸馏训练的代码辛辛苦苦在排行榜上挑了一个各项指标都领先的教师模型结果蒸馏出来的学生模型性能不升反降甚至不如直接拿真实标签训练。这不是个别现象而是知识蒸馏研究里非常典型的一类失败我们把“好模型”和“好老师”画上了等号。知识蒸馏的基本逻辑听起来很简单——用一个性能更强的教师模型去指导学生模型学习。但这里藏着一个被大多数人忽略的前提学生要从教师身上学到的不只是答案而是教师得出结论的方式。如果只看教师的最终分数而忽略教师的推理过程蒸馏就很容易变成“学生模仿了一个高分答案却没有学会高分的思考路径”。这篇文章要讨论的问题很清楚为什么教师模型的推理习惯比分数更重要推理习惯到底包含哪些可度量的维度在实际蒸馏代码里我们又该如何观察、提取和利用这些习惯我会从原理讲到实验设计再给出可运行的 PyTorch 示例代码帮助你把“选教师”这个环节从盲目拼分数变成有依据、有验证的工程决策。1. 这篇文章真正要解决的问题先看一个非常常见的场景。你有一个已经训练好的大模型比如 ResNet-50准确率 95% 以上。你想把它蒸馏到 ResNet-18希望得到一个轻量但性能接近的学生模型。于是你直接加载 ResNet-50 的权重在训练集上让学生模型去拟合教师的 soft label训练结束后却发现学生准确率只到 88%距离教师明显有差距甚至比直接用真实标签训练出来的 baseline 学生还要低换一个准确率稍低、但结构更简单的教师反而蒸馏效果更好。这背后的原因恰恰是知识蒸馏研究中的一个核心观点教师模型的高分可能来自教师自身复杂的参数规模和偶然的优化路径并不代表它把“知识结构”整理得足够清晰。一个适合做教师的模型应当具备三个条件最终预测准确率足够高中间层特征有稳定的语义结构对难易样本的概率分布有区分度而不是含糊地给出一个平均分布。第二个和第三个条件就是本文所说的“推理习惯”。它们不会直接体现在准确率上却决定了知识能否从教师迁移到学生。本文适合以下几类读者正在做模型压缩、端侧部署希望用小模型逼近大模型效果的算法工程师研究知识蒸馏、模型迁移的学生和研究者刚接触蒸馏准备在下一次训练中引入蒸馏技术的开发人员。读完这篇文章你会得到一套完整的判断框架选教师的依据、观察教师推理习惯的方法、用代码提取和利用这些习惯的方案以及实验效果的评估方式。2. 知识蒸馏的核心原理与“推理习惯”的含义2.1 经典蒸馏复制答案还是复制推理Hinton 在 2015 年提出的知识蒸馏框架核心做法并不复杂。教师模型对输入样本输出一个 logits 向量经过温度缩放后得到 soft label学生模型用同样的温度缩放去逼近这个分布同时保留对真实标签的监督。公式可以简单写成L alpha * CE(y_student, y_target) beta * KL(soft_student, soft_teacher)其中CE是交叉熵损失KL是 KL 散度温度 T 用于控制分布平滑程度。这个设计背后有一个非常重要的直觉真实标签只能回答“这张图是什么”而教师模型的概率分布能回答“这张图跟哪些类别更接近”。例如一张猫的图片教师可能输出猫 0.9狗 0.05狮子 0.03老虎 0.02。这组概率分布里蕴含着教师对“猫”与“狗”“老虎”之间相似性的判断。学生收到这组信息后不只是学会了“这是猫”还学会了“猫和狗比猫和汽车更相似”的语义结构。这里就是“推理习惯”的起点soft label 是教师推理结果的压缩表达。一个优质教师它的 soft label 中应该有明确的类间结构而一个只会“背答案”的教师它的 soft label 可能只是在正确类别上输出接近 1其他类别接近 0信息量几乎为零。2.2 从 logits 蒸馏到中间层蒸馏只看 logits 还不够。深度学习模型的理解能力分布在不同层浅层学习低级特征深层学习高级语义。如果学生只模仿教师的最终输出就跳过了中间过程等于默认教师所有推理能力都能被压缩进最后一层概率分布——这通常不成立。因此知识蒸馏研究后来发展出多个方向蒸馏类型核心思想代表作对齐对象Logits 蒸馏匹配教师和学生的输出概率分布Hinton et al., 2015输出分布特征蒸馏匹配教师和学生的中间特征图FitNets中间特征注意力蒸馏匹配教师和学生的注意力图Zagoruyko et al.空间注意力关系蒸馏匹配样本之间的关系结构RKD, CRD样本间相似性矩阵自注意力蒸馏Transformer 中的多头注意力对齐MiniLMAttention 矩阵从这里可以看到知识蒸馏研究逐渐意识到一个事实教师模型在每一层做了什么样的特征变换比它最后一层的分数更能反映推理习惯。这也是“分数不是唯一标准”这一判断的理论来源。2.3 推理习惯有哪些可度量维度为了不让“推理习惯”停留在概念层面我建议把它拆解成四个可操作的维度。概率分布形态教师对正确类别的置信度是否适当是否过度自信。衡量指标可以是平均置信度、熵或者 Expected Calibration ErrorECE。类间结构soft label 中非正确类别是否携带了有明显区分度的信息而不是均匀分布或尾部噪声。中间特征稳定性教师对同一类样本的中间特征是否集中在较紧凑的区域内是否有清晰的类别边界。难易样本的行为差异教师对简单样本和困难样本是否给出了可区分的响应模式这对学生学会如何逐步解决问题非常关键。这四个维度统称为教师的“推理习惯”。一个准确率高但校准差的教师可能给学生传递过度自信的错误结构一个中间特征离散的教师则难以给学生提供稳定的特征对齐信号。3. 高分教师背后可能隐藏的三个问题为什么准确率高的教师未必适合蒸馏下面三种情况特别常见。3.1 过度自信导致的尖峰分布当教师模型训练时间过长或正则化不足时它的输出概率分布会迅速向正确类别坍缩。典型表现为正确类别概率 0.98 以上其他所有类别概率均匀且极低。此时soft label 包含的类间结构被压缩掉了。如果我们拿这样的教师做蒸馏学生接收到的有效信息其实和 one-hot 标签相差无几。学生既看不到“猫和狗接近”也看不到“猫和汽车离得远”。蒸馏损失里 KL 项的信息量趋近于零教师的存在就变得没有意义。一个简单的诊断方法是统计教师在验证集上的平均 soft label 熵。如果平均熵低于 0.1 且各个样本高度相似说明教师已经“过度自信”需要提高蒸馏温度 T或者换一个训练更充分但更鲁棒的教师。3.2 中间特征脱节这种情况常见于教师和学生架构差异较大的时候。比如教师是 ResNet-50学生是 MobileNet两者卷积核数、深度、感受野都不一样。教师在第 4 层学到的高层语义特征学生可能在第 4 层还停留在中低层特征。如果强行在特征层面计算 L2 损失学生梯度会非常不稳定甚至把浅层特征破坏掉。很多蒸馏失败案例的日志里会发现 loss 下降得非常快但最终准确率上不去。快速收敛并不是好消息它往往意味着某个特征对齐分支把教师特征空间的信息“硬灌”给了学生学生靠维度匹配和随机投影强行对齐并没有学到真正的语义。3.3 困难样本上的结构缺失一个优秀的教师应该能够区分“难题”和“简单题”。在推理任务中这个能力体现在对困难问题给出不同的中间计算过程和最终的置信度调整。如果教师遇到困难样本时只是简单地把所有类别的概率都拉低而不是逐渐聚焦到某个可能答案那学生学到的是“遇到难题时放弃”而不是“遇到难题时重新思考”。这个问题的隐蔽性很强。准确率指标看不出来因为困难样本在数据集中占比不高。但蒸馏完成后学生模型在困难样本上的表现往往会明显下降。因此评估教师时不能只给平均准确率还需要分难度段评估。4. 实验设计同一个教师不同蒸馏目标为了把“推理习惯比分数更重要”变成可验证的判断我设计了一组对照组实验。这个实验不需要大规模集群单张 GPU 即可完成适合作为研究基线。4.1 实验环境操作系统Linux 或 macOS 均可Python 3.8PyTorch 1.10数据集CIFAR-10教师模型ResNet-32学生模型ResNet-18训练轮数100 轮优化器SGDmomentum 0.9weight decay 5e-4学习率初始 0.1在第 60 轮和第 90 轮衰减为原来的 0.1。以上版本和超参只是实验配置不同版本请以实际安装为准核心是整体流程。4.2 对照组设置我设计了四个对照组分别测试不同蒸馏目标的效果。组 A只用真实标签训练学生不使用教师作为 baseline。组 B使用 logits 蒸馏温度 T4。组 C在组 B 基础上增加特征蒸馏对齐学生与教师的中间特征图。组 D在组 B 基础上增加注意力蒸馏对齐学生与教师的空间注意力图。这样的设计可以回答两个问题教师最终分数相同的情况下不同蒸馏方式带来的学生性能差异有多大logits、特征、注意力这三种信息哪一种更接近“教师的推理习惯”为了让结果更公平所有组的教师模型都保持冻结不做任何更新。学生模型结构、优化器、训练轮数完全一致。唯一不同的是损失函数中蒸馏项的对齐目标。4.3 另一个关键对比高分教师 vs 低分但可解释教师为了验证“分数不是唯一标准”我在组 B 中额外加入一个替换实验把教师从 ResNet-32 换成 ResNet-18准确率略低但更容易对齐然后在相同条件下蒸馏出学生。如果低分教师反而带来更好的蒸馏效果就说明教师推理习惯的影响确实大于教师绝对分数。这个实验在模型压缩项目中非常有用。生产环境中我们经常面临一个问题手头只有已经部署的旧模型它的准确率可能不是最高但它和将要训练的新学生模型结构更接近迁移效果反而更好。5. 完整示例代码实现下面给出三个核心代码文件分别对应 logits 蒸馏、特征蒸馏和教师推理习惯评估。代码设计为最小可运行形态你可以在此基础上扩展。5.1 经典 Logits 蒸馏文件路径distill_logits.pyimport torch import torch.nn as nn import torch.nn.functional as F def distillation_loss( student_logits: torch.Tensor, teacher_logits: torch.Tensor, target: torch.Tensor, temperature: float 4.0, alpha: float 0.5, ) - torch.Tensor: 经典 Hinton 蒸馏损失。 参数: student_logits: 学生模型输出的原始 logits teacher_logits: 教师模型输出的原始 logits target: 真实类别标签 temperature: 软化温度越高分布越平滑 alpha: 控制真实标签损失和蒸馏损失的比例 # 真实标签交叉熵 ce_loss F.cross_entropy(student_logits, target) # 蒸馏部分在温度缩放下计算 KL 散度 student_soft F.log_softmax(student_logits / temperature, dim1) teacher_soft F.softmax(teacher_logits / temperature, dim1) # KL 散度先按类别求和再除以温度平方以恢复梯度尺度 distill_loss F.kl_div(student_soft, teacher_soft, reductionbatchmean) distill_loss distill_loss * (temperature ** 2) total alpha * ce_loss (1.0 - alpha) * distill_loss return total关键逻辑有三点teacher_logits每次前向都需要no_grad()因为教师模型要冻结。KL 散度使用log_softmax(student_logits)和softmax(teacher_logits)这是F.kl_div的标准用法顺序不要写反。最后乘上temperature ** 2是为了抵消温度缩放带来的梯度尺度变化否则大温度下蒸馏损失会过小。训练主循环里的调用方式teacher_model.eval() optimizer.zero_grad() student_logits student_model(images) with torch.no_grad(): teacher_logits teacher_model(images) loss distillation_loss( student_logits, teacher_logits, target, temperature4.0, alpha0.5, ) loss.backward() optimizer.step()5.2 特征蒸馏与注意力蒸馏特征蒸馏的核心是在教师和学生的中间层之间建立一个对齐关系。由于两者通道数可能不同通常加一个投影层把学生特征维度变换到教师特征维度。文件路径distill_features.pyimport torch import torch.nn as nn import torch.nn.functional as F class FeatureProjector(nn.Module): 把学生特征投影到教师特征空间便于计算对齐损失。 def __init__(self, student_channels: int, teacher_channels: int): super().__init__() self.conv nn.Conv2d( student_channels, teacher_channels, kernel_size1, biasFalse, ) self.bn nn.BatchNorm2d(teacher_channels) def forward(self, x: torch.Tensor) - torch.Tensor: return self.bn(self.conv(x)) def feature_distillation_loss( student_feat: torch.Tensor, teacher_feat: torch.Tensor, projector: nn.Module, ) - torch.Tensor: 特征蒸馏损失使用 L2 距离对齐标准化后的特征图。 student_feat projector(student_feat) # 归一化到类似尺度避免通道数和数值范围不同造成损失偏移 student_norm F.normalize(student_feat.view(student_feat.size(0), -1), dim1) teacher_norm F.normalize(teacher_feat.view(teacher_feat.size(0), -1), dim1) return F.mse_loss(student_norm, teacher_norm) def attention_distillation_loss( student_feat: torch.Tensor, teacher_feat: torch.Tensor, ) - torch.Tensor: 注意力蒸馏把特征图按通道绝对值求和得到空间注意力图。 归一化之后比较空间注意力分布的差异。 student_attn torch.abs(student_feat).sum(dim1) teacher_attn torch.abs(teacher_feat).sum(dim1) student_attn student_attn / student_attn.view(student_attn.size(0), -1).sum(dim1, keepdimTrue) teacher_attn teacher_attn / teacher_attn.view(teacher_attn.size(0), -1).sum(dim1, keepdimTrue) return F.mse_loss(student_attn, teacher_attn)这段代码中特征蒸馏的 L2 损失不是直接比较原始特征图而是先对每个样本展平并做 L2 归一化。原因是不同模型的特征图数值范围差异巨大如果不归一化损失可能被某些大数值通道主导学生为了降低 loss 只能盲目压低特征数值语义结构反而被破坏。这是一个很容易踩坑的细节。注意力蒸馏则提取了空间注意力图本质上是在告诉学生“应该关注哪些区域”这个信息比逐通道特征更接近推理习惯。在训练循环中你可以把多个损失组合在一起total_loss ( alpha * ce_loss beta * distill_loss gamma * feature_loss delta * attention_loss )项目里可根据实际效果调节alpha/beta/gamma/delta的比例。推荐先从alpha0.5, beta1.0, gamma0.0, delta0.0开始跑通再逐步增加特征和注意力项。5.3 教师推理习惯评估脚本这个脚本用于在训练之前诊断教师模型帮助你判断它是否适合蒸馏。文件路径evaluate_teacher.pyimport numpy as np import torch import torch.nn.functional as F torch.no_grad() def evaluate_teacher_habits(teacher_model, dataloader, num_classes: int): 评估教师的推理习惯包括 1. 平均置信度和输出熵 2. Expected Calibration ErrorECE 3. 类间相似性矩阵的分布 teacher_model.eval() all_probs [] all_targets [] for images, targets in dataloader: logits teacher_model(images) probs F.softmax(logits, dim1) all_probs.append(probs.cpu().numpy()) all_targets.append(targets.cpu().numpy()) probs np.concatenate(all_probs, axis0) targets np.concatenate(all_targets, axis0) # 1. 平均置信度和熵 confidences probs.max(axis1) entropy -np.sum(probs * np.log(probs 1e-12), axis1) print(f平均置信度: {confidences.mean():.4f}) print(f平均熵: {entropy.mean():.4f}) # 2. ECE按置信度分桶比较置信度和准确率的差距 num_bins 10 bin_boundaries np.linspace(0.0, 1.0, num_bins 1) ece 0.0 for i in range(num_bins): low, high bin_boundaries[i], bin_boundaries[i 1] mask (confidences low) (confidences high) if mask.sum() 0: continue avg_confidence confidences[mask].mean() accuracy (probs[mask].argmax(axis1) targets[mask]).mean() ece (mask.sum() / len(targets)) * abs(avg_confidence - accuracy) print(fECE: {ece:.4f}) # 3. 类间相似性统计非正确类别概率是否携带信息 correct_probs probs[np.arange(len(targets)), targets] other_probs probs.copy() other_probs[np.arange(len(targets)), targets] 0.0 other_max other_probs.max(axis1) other_mean other_probs.sum(axis1) / (num_classes - 1) print(f正确类别平均概率: {correct_probs.mean():.4f}) print(f非正确类别最大平均概率: {other_max.mean():.4f}) print(f非正确类别平均概率均值: {other_mean.mean():.4f}) return { avg_confidence: confidences.mean(), avg_entropy: entropy.mean(), ece: ece, }运行这个评估脚本之后你可以通过几个指标快速筛选教师如果平均置信度非常高比如 0.95 以上且平均熵非常低说明教师输出分布已经很尖锐蒸馏时建议调高温度如果 ECE 数值较高说明教师校准能力差可能出现“过度自信但犯错”的情况这种情况不适合直接蒸馏如果非正确类别平均概率偏低但最大非正确概率仍有合理分布比如 0.05~0.3说明教师保留了类间结构适合蒸馏。这个脚本的价值在于它把“推理习惯”量化成可比较的数值让你在选教师之前就有了数据依据。6. 运行结果与效果验证6.1 运行方式完成代码后建议按以下顺序执行# 第一步训练一个教师模型 python train_teacher.py # 第二步评估教师推理习惯 python evaluate_teacher.py --teacher_path ./checkpoints/teacher_resnet32.pth # 第三步分别训练四个对照组 python train_student.py --group baseline python train_student.py --group logits python train_student.py --group feature python train_student.py --group attention其中train_teacher.py和train_student.py是训练脚本核心逻辑在上面的代码中已经覆盖你只需要按照自己的数据加载方式补全即可。6.2 预期结果从研究经验来看预期会出现以下现象对照组学生准确率学生 ECE训练稳定性组 A真实标签 baseline约 94%中等稳定组 Blogits 蒸馏约 95%-96%较低较稳定组 Clogits 特征蒸馏约 96%-97%较低依赖特征层选择组 Dlogits 注意力蒸馏约 96%中等较稳定组 B 相比组 A 通常准确率会小幅提升原因是教师提供了类间结构组 C 如果特征层选择得当性能提升最明显组 D 的效果取决于学生是否能够利用空间注意力信息。更关键的是在“高分教师 vs 低分教师”的替换实验中很可能出现ResNet-18 教师准确率低 1%-2%蒸馏出的学生模型比 ResNet-32 教师蒸馏的结果更好。尤其在特征蒸馏的对照组里这个差距会更明显。这正是“推理习惯比分数更重要”的直接证据。6.3 如何判断这次蒸馏是否成功不看最终准确率我建议用三个额外指标做判断教师软标签熵与学生软标签熵的趋势。如果蒸馏成功学生的输出熵应该与教师接近且低于 baseline 学生的熵但不能过低。如果学生熵比教师低很多说明学生只学了“自信”没学到“结构”。困难样本上的准确率差。把验证集按置信度分为简单、中等、困难三档。蒸馏成功的学生在困难样本上比 baseline 有明显的准确率提升。特征可视化对齐。用 t-SNE 或 UMAP 可视化教师和学生中间层特征。如果蒸馏效果好学生特征聚类的边界应该与教师的边界高度相似。如果失败第一步先去检查教师模型的输出概率分布是否已经退化而不是盲目调整蒸馏损失权重。很多蒸馏实验调了很久最后发现是教师本身不适合当老师。7. 常见问题与排查思路下面整理蒸馏实验中最高频的五个问题以及对应的排查方向。问题现象可能原因排查方式解决方案学生蒸馏后准确率反而低于 baseline教师 soft label 已经退化为 one-hot信息量不足计算教师平均输出熵和 ECE调高温度或换一个校准更好的教师蒸馏 loss 下降非常快但准确率停滞特征对齐分支只匹配了数值尺度没有匹配语义结构去掉特征对齐项单独跑 logits 蒸馏看效果对特征做归一化选择语义层级匹配的层做对齐学生在中后期 loss 振荡特征蒸馏权重过大破坏了学生主干梯度减小特征蒸馏对应的 gamma 权重先加 logits 蒸馏稳定后再逐步增加特征项教师和学生特征层不匹配教师 ResNet 的 layer 与学生 MobileNet 的 stage 语义层级不同打印各层输出尺寸和特征分布做逐层相关性分析选择对应语义层教师模型冻结但仍被更新忘记用 no_grad 或在优化器参数列表中加入了教师参数检查优化器参数列表和反向传播图教师参数传入requires_gradFalse并在前向时使用torch.no_grad()蒸馏后学生在困难样本上明显变差教师对困难样本本身就缺乏结构或蒸馏温度设置不合适分难度段评估教师和学生对困难样本做重采样或引入辅助分类损失其中最容易忽略的是第五个问题。初学者经常把教师和学生放进同一个优化器结果教师参数也被更新最后还是过了很久才发现教师已经漂移。对比教师蒸馏前后的准确率如果教师性能下降基本就是这个问题。另外特征蒸馏的层级选择需要单独说一句。并不是对齐教师的最后一层就一定最好。最后一层特征分辨率低语义最抽象但对齐难度大。通常更推荐从教师网络的倒数第二层或第一个全连接层之前的特征层开始尝试因为这一层特征既包含语义信息又保留了空间结构对齐起来相对稳定。8. 最佳实践与工程建议8.1 选教师先看习惯再看分数在实际项目中我建议把选教师流程设计成三步用验证集评估候选教师的准确率、置信度、ECE 和输出熵对候选教师做一次 10 轮左右的快速蒸馏测试看学生的 loss 下降趋势和中间层对齐效果综合准确率和蒸馏潜力选择最终教师而不是直接选择准确率最高的教师。如果项目有多个候选教师建议把评估脚本的结果作为选型表的一部分。这样后续做模型迭代时团队能清楚知道某个教师被选中的原因也更容易复现。8.2 蒸馏训练中的超参管理温度 T 的选择直接影响蒸馏习惯的传递效果。常见经验是分类任务中T 取 3 到 6 之间。T 越高分布越平滑包含的类间结构越多但如果过高会把噪声也放大如果教师输出熵已经偏高T 可以适当降低训练后期可以逐步降低 T让学生从“学习软结构”过渡到“微调最终决策”类似课程学习的思路。蒸馏损失权重alpha的默认值 0.5 只能作为起点。实际项目中更推荐动态调整初期增大蒸馏项比例让学生尽快学会教师的结构后期逐渐增大真实标签损失比例避免学生被教师的某个错误先验带偏。8.3 日志与实验记录蒸馏实验的状态变量很多教师版本、温度、特征对齐层、损失权重、学生结构任何一个变化都会影响结果。务必在训练日志中记录以下内容教师模型的版本号和评估结果温度 T 和权重alpha/beta/gamma/delta特征对齐使用了哪些层每个 epoch 的学生准确率、教师 soft label 的信息熵、学生输出熵。这些日志不仅帮助你复现实验结果也是后续定位问题上线的关键依据。很多团队模型上线后出现问题溯源时发现是蒸馏教师配置没记录清楚导致无法快速判断哪一版教师真正生效。8.4 生产环境中的蒸馏策略如果在生产环境中做蒸馏我有几个更稳妥的建议教师模型上线前要做校准评估不要直接拿训练集上收敛的模型当教师保留一份不使用蒸馏的 baseline 模型作为灰度实验的对比对象蒸馏训练完成后不仅要对比准确率还要在业务侧评估困难样本的表现和模型鲁棒性如果学生模型的延迟指标比教师好但准确率提升不明显可以接受“准确率持平但推理速度更快”的结果这也是蒸馏的核心收益之一。8.5 面向大模型时代的知识蒸馏知识蒸馏在 LLM 时代同样重要但观察维度需要扩展。对小模型来说推理习惯主要体现在 logits 分布和中间特征对大模型来说推理习惯还包括生成路径。教师模型生成回答时的思维链、对同一问题的多轮推理、以及奖励模型对各个候选回答的排序都是一种“推理习惯”。当前主流的 LLM 蒸馏实践中已经不满足于只蒸馏最后一个 token 的概率而是要设计数据筛选、监督微调和偏好对齐等环节把教师模型的推理过程教给学生。这也印证了本文的核心判断不管蒸馏对象是图像分类模型、目标检测模型还是语言模型真正迁移的不是一个最终分数而是教师得出结论的内在路径。谁在知识蒸馏中更关注推理习惯谁就能在有限的模型容量下获得更大的性能收益。9. 总结与后续学习方向这篇文章从“教师分数高但蒸馏失败”的现象出发解释了知识蒸馏中一个容易被忽略的问题教师模型的推理习惯比最终分数更重要。我把它拆成了四个可度量的维度——概率分布形态、类间结构、中间特征稳定性、难易样本行为差异并给出了对应的评估和蒸馏代码。核心结论是选教师不能只看准确率要评估输出熵、ECE、中间特征质量蒸馏不仅要对齐 logits还可以通过特征蒸馏和注意力蒸馏传递教师的推理习惯高分教师可能因为过度自信和特征脱节而不适合蒸馏低分但结构清晰的教师反而可能是更好的选择蒸馏效果的评估不能只看最终准确率还要看输出分布、困难样本表现和特征聚类一致性。如果你想继续深入可以沿着以下几个方向学习FitNets 的特征蒸馏原理解读理解为什么中间层特征能提高学生性能关系知识蒸馏RKD研究样本间距离关系作为更稳定的蒸馏信号对比表示蒸馏CRD用对比学习方式替代 L2 特征对齐解耦知识蒸馏DKD分析目标类和非目标类梯度各自的作用大模型蒸馏中如何设计思维链数据和教师推理路径采样策略。下一步建议你从一份开源数据集的二分类任务开始跑通本文的代码框架然后逐步增加教师评估、特征对齐、注意力蒸馏三个模块。只有亲手实验一次才能真正体会“分数”和“推理习惯”之间的差距到底有多大。