Moonshot提出Attention Residuals:用跨层注意力替代残差连接,提升训练稳定性与推理效率
Moonshot发布Attention Residuals架构,通过让每一层对历史层状态进行注意力查询,替代传统固定残差连接,实现“跨层信息动态聚合”。该方法在Kimi Linear模型上验证可带来约1.25倍计算效率提升,且推理延迟增加不到2%。该工作本质上将注意力从“序列维度”扩展到“深度维度”,被认为是突破Transformer架构瓶颈的重要方向之一,同时引发关于架构创新与系统共设计的广泛讨论。
原文链接