CVPR 2022 | 无需训练的Transformer架构搜索

01 论文信息论文题目Training-free Transformer Architecture Search论文作者Qinqin Zhou, Xing Sun, Kekai Sheng, Yonghong Tian, Xiawu Zheng, Jie Chen, Ke Li, Rongrong Ji发表单位Media Analytics and Computing Lab, School of Informatics, Xiamen UniversityTencent Youtu LabPeng Cheng LaboratorySchool of Electronic and Computer Engineering, Peking UniversityInstitute of Artificial Intelligence, Xiamen UniversityFujian Engineering Research Center of Trusted Artificial Intelligence Analysis and Application, Xiamen University发表会议CVPR2022代码链接https://github.com/decemberzhou/TF_TAS02 论文主要贡献我们提出了一种无需训练的TASTF-TAS该方法包含一种模块化策略可在评估ViT架构时将MSA多头自注意力的突触多样性与MLP多层感知机的突触显著性结合起来作为DSS指标。大量实验表明所提出的TF-TAS不仅取得了具有竞争力的搜索性能还提升了ViT架构搜索的效率。我们设计了一系列对照实验对训练-free 代理指标在训练-free 架构搜索TAS中的表现进行对比。研究结果为在评估视觉TransformerViT架构时设计最优代理指标提供了一些实证见解。03 论文创新点首次开展面向 ViT 的无训练 Transformer 架构搜索Training‑free TAS。以往 TAS 大多依赖 one‑shot 范式训练超网计算成本高昂而 CNN 的零成本代理又不能直接适配 ViT本文首次探究在不训练网络的条件下完成 ViT 架构评估与搜索的可行方案。发现 MSA 与 MLP 需要区别对待。通过剪枝敏感性实验观察到两个模块属性差异显著MSA 参数冗余高、易发生秩坍缩MLP 冗余度低、对剪枝高度敏感二者不适合使用同一套评价准则。提出模块化评价指标 DSS‑indicator。针对 MSA 设计突触多样性指标来衡量注意力矩阵的丰富程度针对 MLP 使用突触显著性衡量参数重要性将二者结合得到网络综合评分仅利用随机初始化权重配合一次前向、反向传播即可完成架构排序并且通过全 1 输入消除随机种子带来的评估波动。大幅降低 TAS 搜索计算开销。基于 DSS‑indicator 构建 TF‑TAS 搜索流程不再需要训练大型超网搜索代价从传统方法约 24 GPU 天下降至 0.5 GPU 天加速约 48 倍搜出的模型精度可以和 SOTA 手工、搜索得到的 ViT 相匹敌方法还与搜索空间、权重共享策略正交具备良好兼容性。04 方法4.1 MSA的突触多样性4.1.1 理论分析MSA 是 ViT 的基础模块已有研究指出 MSA 会出现秩坍缩现象随着网络深度增加MSA 输出逐步收敛为秩‑1 矩阵矩阵各行取值趋同多样性缺失秩坍缩会严重降低 ViT 性能在高维特征空间直接估计秩坍缩计算开销很大依据已有研究结论矩阵秩包含特征多样性信息因此可以使用 MSA 模块权重矩阵的秩作为评价 ViT 架构的指标4.1.2 突触多样性直接求解权重矩阵秩计算复杂不利于实际使用文章采用核范数近似矩阵秩作为多样性指标在 Frobenius 范数满足特定条件时核范数可以等价替代矩阵秩同时引入损失对权重的梯度矩阵综合权重矩阵与梯度矩阵定义第l个 MSA 模块的突触多样性公式其中Wm代表 MSA 内部第m个线性层的权重矩阵。4.2 MLP的突触显著性4.2.1 理论分析剪枝敏感性实验表明MLP 和 MSA 特性存在明显差异。MLP 参数冗余低对剪枝高度敏感少量权重被移除就会带来显著的性能损失。借鉴剪枝领域的突触显著性该度量可以评估参数的重要性适配 MLP 模块的特性。4.2.2 突触显著性给出第l层 MLP 突触显著性计算公式Wn表示 MLP 的可学习权重矩阵⊙为哈达玛乘积。4.2.3 验证实验从 AutoFormer 搜索空间采样 100 个 ViT 候选网络重新训练。MSA 突触多样性 Kendall’s τ0.65MLP 突触显著性Kendall’s τ0.714.3 无需训练的TASDSS-indicator仅需一次前向、反向传播即可计算该指标将输入全部像素置为 1并采用特定形式的损失函数消除输入与随机种子的干扰同时捕获权重的层间交互。搜索时从 ViT 搜索空间采样 8000 个子网依靠 DSS 分数排序筛选出得分最高的架构最后对选出的网络重训练得到最终测试精度。05 实验分析5.1 AutoFormer 搜索空间上的实验结果速度提升而性能基本持平。证明DSS 可以替代昂贵的架构性能评估。5.2 PiT搜索空间的实验结果TF‑TAS 搜索得到的模型拥有更高 ImageNet Top‑1 精度且搜索时间更短说明该方法可以适配不同的 ViT 搜索空间。5.3 与零成本代理的对比构建了一个 ViT proxy benchmark然后比较 Kendall’s τ总体排序DSS NASWOT SNIP GraSP TE-score }说明 DSS 对 ViT 架构性能的排序能力最好。5.4 不同随机种子下的一致性DSSSTD0原因是作者使用全 1 输入消除了输入数据随机性的影响。所以 DSS 不依赖随机采样输入。06 个人声明本文为作者对原论文的学习笔记与心得分享受个人学识与理解所限文中对论文内容的解读或有不够周全之处一切以原论文正式表述为准。本文仅用于学术交流与传播内容均由作者独立整理完成不代表本公众号立场。如文中所涉文字、图片等内容存在版权争议请及时与作者联系作者将在第一时间核实并妥善处理。