Mixture-of-Transformers 学习指南：从架构原理、经典论文到代码复现

Mixture-of-Transformers 学习指南：从架构原理、经典论文到代码复现前言随着多模态大模型的发展，文本、图像、语音和视频等不同类型的数据，开始被统一表示为 token，并交给同一个 Transformer 进行建模。最直接的做法是让所有模态共享同一套 Transformer 参数。也就是说，无论输入是文本 token、图像 token 还是语音 token，它们都会使用相同的注意力投影、前馈网络和归一化参数。这种设计简单统一，但也带来了一个问题：不同模态的数据结构差异很大，完全共享参数可能导致模态之间发生参数竞争和梯度干扰。Mixture-of-Transformers，简称 MoT，正是为缓解这一问题而提出的。MoT 的核心思想是：不同模态使用不同的 Transformer 参数完成模态内部处理，但所有模态仍然通过全局自注意力进行信息交换。本文将围绕以下内容展开：MoT 要解决的问题；MoT 的完整架构；模态路由与全局注意力；MoT 为什么属于稀疏模型；MoT 与 MoE、MoMa、多塔模型的区别；MoT 的训练与推理方式；MoT 的工程难点和局限；学习 MoT 的经典论文顺序；