Intrinsic Structure as a Proxy for Saliency: SVD-Based Weight Preservation for Mixed-Precision Qu...

文章总结与翻译一、主要内容随着大型语言模型（LLMs）参数规模不断扩大，在普通硬件上部署面临巨大挑战。后训练量化（PTQ）通过降低权重精度（如至4位）来减少内存占用，但均匀量化易因“异常特征权重”（数量少但对模型精度至关重要）导致性能大幅下降。现有主流方法（如AWQ、SpQR）依赖校准数据通过激活幅度或黑塞矩阵敏感性识别关键权重，在数据隐私受限或无校准数据的场景下无法应用。本文提出一种无数据、结构感知的量化方法：基于奇异值分解（SVD）识别权重矩阵的主成分，认为这些主成分权重本质上对模型下游任务性能至关重要。该方法将与主成分对齐的top-k权重保留为FP32精度，对剩余权重进行激进量化。在GLUE基准（MRPC、RTE、QNLI）上以DistilBERT为骨干模型进行实验，结果显示：在低保护预算下（k=1、16），该方法在MRPC任务上表现优于AWQ和SpQR；在RTE任务上（k=4096）达到66.06%的准确率，超过FP32基线及AWQ、SpQR；与SpQR所选权重的交并比（IoU）高达67%，验证了结构重要性与功能重要性的强相关性。同时，该方法无需前向传播或校准数据，计算效率更高，为无数据模型压缩提供了有效路径。二、创新点提出无数据依赖的混合精度量化启发式：基于SVD挖掘权重矩阵的内在结构，无需校准数据即可识别关键权重，解决了现有方法对数据的依赖问题。系统对比验证：在三个GLUE任务上与AWQ（激活感知）、SpQR（二阶导数）进行全面比较，证明该方法在多数场景下具有竞争力，在低资源任务（如RTE）中表现更优。揭示结构