【llm-algo-leetcode学习笔记】量化优化手段

量化理论与INT4/INT8量化难点理解低比特为什么会同时影响存储成本、带宽压力、算子吞吐和精度稳定性。为什么量化能显著减少显存和带宽压力验证对称量化、非对称量化、per-tensor、per-channel区别验证PTQ、QAT、GPTQ、AWQ、GGUF理解验证量化什么时候考虑QAT验证量化常见误区验证W8A16量化模型变大后推理最先遇到的是”权重太大、显存占用高、每一步都要从显存里读取很多数据。“核心思想与概念W8A16实现”压缩权重显存、缓解带宽压力“绝对最大值量化公式参见课程链接代码完善验证