英伟达：动态双焦RoPE高效长文扩展

标题Jet-Long: Efficient Long-Context Extension with Dynamic Bifocal RoPE来源arXiv, 2607.07740v2️文章简介研究问题如何在不微调且保持短文本性能的前提下实现大模型零样本长上下文的高效扩展主要贡献论文提出Jet-Long方法通过动态双焦RoPE与融合算子实现免训练、高精度且低开销的长文本推理。重点思路采用双焦注意力机制将序列划分为保留原始RoPE的局部窗口和动态压缩的远程窗口确保短文本行为与基座模型完全一致。设计无参数解析调度策略根据当前序列长度动态计算最小整数分组大小使远程位置编码始终落在预训练分布内避免拟合依赖。引入即时修正旋转技术在解码时直接对查询和缓存键应用角度偏移无需重写KV缓存即可适应动态分组变化。利用容斥原理合并三次FlashAttention调用精确实现基于距离的路由并将所有操作融合为单个CuTe内核以消除额外开销。分析总结在Qwen3系列模型128K上下文测试中RULER准确率显著优于YaRN等最强基线PG-19困惑度最低且在原生窗口内性能无损。推理效率极高H100上长文本预填充吞吐量达FA2的1.39倍生成阶段额外延迟不超过4%接近专用硬件优化的FA4水平。方法具有强鲁棒性唯一超参数局部窗口大小在宽范围内对性能影响极小且能无缝迁移至混合注意力架构Jet-Nemotron。消融实验证实离散位置别名映射在128K范围内优于连续频率插值验证了保持旋转角度在预训练离散网格内的有效性。个人观点论文解决了零样本扩展中长短文本性能的权衡难题通过算子融合将复杂的逻辑注意力转化为近乎免费的推理开销。