CANN ops-transformer SIG 全面解读：FlashAttention、MoE 等 Transformer 融合算子的开源治理与技术路线

CANN ops-transformer SIG 全面解读FlashAttention、MoE 等 Transformer 融合算子的开源治理与技术路线【免费下载链接】community本项目是CANN开源社区的核心管理仓库包含社区的治理章程、治理组织、通用操作指引及流程规范等基础信息项目地址: https://gitcode.com/cann/community导读ops-transformer 是 CANN 开源社区中专门面向 Transformer 领域的算子兴趣小组Special Interest GroupSIG负责 cann/ops-transformer 仓库的开发与维护覆盖 FlashAttention、MoEMixture of Experts、GMM、MC2、位置编码、FFN 等大模型关键融合算子。本文以 ops-transformer SIG 主页 为主线结合 sig-info.yaml 权限配置、CANN 社区 SIG 治理章程 与 SIG 组织总览系统讲解该 SIG 的定位、算子版图、例会与协作机制、文件级权限治理以及参与方式帮助你快速理解并加入这个 Transformer 算子生态。SIG 定位Transformer 领域融合算子的兴趣小组ops-transformer SIG 是算子 transformer 领域相关的兴趣小组核心使命是负责 Transformer 相关融合算子的规划与实现典型代表包括FlashAttention 类将 QKV 计算、softmax、输出变换等融合为单算子减少 HBM 访存、提升注意力计算效率的推理与训练算子MoEMixture of Experts面向专家混合架构大模型的系列算子覆盖路由、专家分发与结果合并等环节。从社区组织架构看ops-transformer 与 ops-basic SIG、ops-nn SIG 同属算子族兴趣小组共同为深度学习网络提供算子服务其中 ops-transformer 聚焦于大模型 Transformer 架构特有的融合算子。在 CANN SIG 总览 中其定位被描述为提供 transformer 类大模型算子的高阶算子库并在 sig-info.yaml 的 description 字段中进一步明确为涵盖了常见的 FlashAttention、MoEMixture of Experts等算子。工作目标五大职责ops-transformer SIG 的日常工作围绕以下五项目标展开原文完整继承技术路线规划负责 Transformer 算子领域技术路线规划和落地例会与技术决策组织 Transformer 算子领域例会引导技术讨论和决策组织协同负责周边组织沟通协调推动落地相关项目基础设施管理负责 SIG 仓库权限和邮件列表等基础设施的管理问题分发处理负责社区 Bug、Issue 和邮件列表等渠道反馈的问题分发处理。这五项职责与 CANN 社区 SIG 治理章程 中定义的 Maintainer 核心职责一致——章程明确要求 Maintainer制定和推动 SIG 的技术愿景、目标和路线图负责 SIG 仓库权限和邮件列表等基础设施的管理负责社区 Issue 和邮件列表等渠道中开发者反馈问题的分发与处理可见 ops-transformer 的日常工作正是社区 SIG 治理机制在该领域的落地实践。算子版图六大算子类别详解本 SIG 的核心职责是 ops-transformer 仓库的开发与维护仓库定位为提供 transformer 相关常用算子。结合 sig-info.yaml 的目录级权限配置可以确认仓库目录按算子领域划分共六大类别attention注意力算子对应各类 attention 推理和训练算子。从权限配置中的文件清单attention/common/op_host/fia_tiling_base.h、fia_tiling_shape.cpp、split_core.cpp、attention/common/op_kernel/buffer_manager.h等可以推断该领域不仅包含对外算子还有一套共享的 tiling 计算、buffer 管理、split core 等公共基础设施用于支撑 FlashAttention 等融合注意力的高性能实现。moe混合专家算子对应 MoE 计算中的topk 计算、合并 MoE FFN 的输出结果计算和 routing 计算等算子。这些算子是大模型稀疏激活架构如 DeepSeek、Mixtral 等性能的关键环节。gmm分组矩阵乘算子对应实现分组矩阵乘计算等算子。分组矩阵乘是 MoE 专家并行计算的核心原语将多个专家的小矩阵乘合并调度以提升计算单元利用率。mc2通算并行与 MoE 通信算子对应通算并行算子和MoE 通信 dispatch 和 combine 算子。dispatch/combine 负责在 MoE 推理与训练中把 token 分发到对应专家、再合并各专家输出是跨卡/跨核通信开销的主要来源之一。posembedding旋转位置编码算子对应旋转位置编码计算算子RoPE 等为长序列模型注入位置信息。ffn前馈网络算子对应MoeFFN 和 FFN 等相关计算算子覆盖 Transformer 块中占比极高的前馈网络计算。社区运作例会、邮件列表与贡献指南组织会议频率与时间两周一次例会每单周周三下午 15:30–17:30会议链接CANN 会议平台会议议题与纪要sig-ops-transformer 白板即 sig-info.yaml 中的 meeting_url 字段邮件列表订阅ops-transformer 邮件列表列表地址为ops-transformercann.osinfra.cn。按照 SIG 治理章程 的要求SIG 会议是开放透明的议题提前在邮件列表公布会议纪要会后发布到邮件列表归档重要技术决策遵循共识优先原则。贡献指南向 ops-transformer 仓库贡献代码前请先阅读 ops-transformer 贡献指南。章程同时强调所有向 SIG 所属仓库贡献代码的个人或实体必须按照 CANN 项目要求签署代码贡献协议详见 CANN 贡献者协议相关说明 与 cla 目录。社区活动沉淀ops-transformer SIG 也是 CANN 社区直播与竞赛的活跃组织方。CANN 直播回放索引 中记录了多场归属本 SIG 的活动2025-09-28《transformer 算子仓开源》——ops-transformer 仓库开源介绍见 slides/sig-ops-transformer/202509282026-01-29《昇腾 NPU 强化学习案例基于 GRPO 训练 Qwen 模型》见 slides/sig-ops-transformer/202601292026-05-11《CANN 算子挑战赛江山赛区赛题和评分规则解读》见 slides/sig-ops-transformer/202605112026-06-23《Mega MoE 技术介绍》见 slides/sig-ops-transformer/20260623。从这些议题可以看出本 SIG 的工作重心正从算子库开源建设延伸至强化学习训练、Mega MoE 架构与算子挑战赛等大模型前沿场景开发者可以通过上述材料快速了解算子仓全貌与技术演进。组织架构与成员体系MaintainerSIG 负责人Maintainer 是 SIG 的负责人负责技术愿景、例会主持、TSC/PMC 沟通及基础设施管理。当前 Maintainer 共 5 人信息截至本仓库记录姓名GitCode ID邮箱刘丹liudan12liudan12huawei.com俞郑中Allan_Yuyuzhengzhong1huawei.com黄俊健monologue815huangjunjian3huawei.com马兵mabing1118mabing726huawei.com蒋礼锐jiang-liruijianglirui1huawei.comCommitter核心贡献者Committer 在指定代码仓库拥有写权限深度参与方案设计与代码评审。README 中共列出 40 余位 Committer覆盖华为公司与生态合作伙伴每个 Committer 按细分领域进一步归类看护。细分领域看护体系为落实业务自治、专人看护的治理思路SIG 按算子领域划分了若干 committer 小组对应 sig-info.yaml 中的目录级权限配置moe committer 列表宋凯、陈琳鑫、於欣洁、赵臣臣、魏纳川、鞠阳、陈鹏屹、郭秋毫、孔德元、朱逸君、徐诚阳等mc2 committer 列表陈建军、王民波、刘博熙、李博浩、陈陆淳、杨泽恒、罗柏清、林玮、宋智琪、钟梓莘等ffn committer 列表唐超、陈黄威gmm committer 列表陈康、王永光、陈琳鑫、赵臣臣、张硕累、魏纳川、杨子奇、鞠阳、徐柯南、吴奕、石睿、孔德元、朱逸君等posembedding committer 列表宋凯、於欣洁、俞浩、陈琳鑫、赵臣臣、魏纳川、鞠阳、丁勇、周扬帆、陆威、王荀、孔德元、朱逸君、徐诚阳等attention committer 列表杨彬榕、高翔、黄伟、胡碧霞、苗方正、於欣洁、俞浩、赵臣臣、张硕累、魏纳川、杨子奇、赵志勇、张海杰、沈维铃、唐浩、鞠阳、宋炯辉、王哲、黄立、林竹、丁勇、韩孝斌、周扬帆、安沙沙、桂建伟、陆威、王荀、孔德元、朱逸君、徐诚阳、陈黄威等mhc committer 列表陆威、孔德元、王荀资料 committer 列表郑雯文、陈娇、蔡雯雯、杜慧萍、冯英、杨露、袁滔。需要说明的是README 中 Maintainer、Committer 及各细分领域名单为仓库当前快照具体以 ops-transformer SIG 主页 实时内容为准。文件级权限治理sig-info.yaml 深度解读ops-transformer SIG 的另一大亮点是通过 sig-info.yaml 实现了文件路径级entry 级的代码评审权限管理。该文件遵循 CANN 社区 SIG 组权限管理方案 的规范配置原则如下Maintainer 具备仓库所有目录API 除外的 /lgtm 和 /approve 权限Committer 具备所看护目录的 /lgtm 和 /approve 权限针对对外 API只有对应 Committer 具有 1、2 权限且审批时需附评审变更纪要按业务划分每个业务单独配置全量 Maintainer 和特定 Committer未单独设置的目录如根目录和 common 目录只能由 Maintainer 审批。对外 API 的收敛审批对外接口是兼容性红线sig-info.yaml 为此单独配置了 API 审批人- path: - */*/op_host/op_api/aclnn*.h - */*/op_host/*_def.cpp - */*/op_api/aclnn*.h - */*/op_graph/*_proto.h - */*/op_graph/*_proto_extend.h committers: - gitcode_id: wangyongguang - gitcode_id: tang-lei01这段配置限定了 aclnn 头文件、算子 def 定义、proto 定义等对外 API 变更只能由上述两人评审。通配符路径必须使用双引号包裹如*/*/op_api/aclnn*.h否则会导致 sig-info 解析失败——这是 权限配置指导 中明确强调的约束。资料与文档的看护文档类变更对外文档与 README由资料团队评审- path: - */*/docs/acl*.md - */*/README.md committers: - gitcode_id: Ww7012 - gitcode_id: gitcode-chenjiao - gitcode_id: caiwenwen - gitcode_id: yanglu-1 - gitcode_id: gitee-duhuiping - gitcode_id: fengying555682 - gitcode_id: claire8090工程公共代码与公共文件编译构建DT相关公共代码——cmake、scripts、tests、CMakeLists.txt、build.sh——以及仓库根级公共文件common、version.cmake、classify_rule.yaml、LICENSE、CONTRIBUTING.md等均配置了 Maintainer 级别的看护人确保基础设施变更经过充分评审。各业务目录的独立看护attention、ffn、gmm、mc2、moe、posembedding、mhc 各业务目录含experimental/下的试验目录分别配置了对应领域的 Committer 列表与 README 中的细分领域 committer 列表一一对应。例如- path: - moe - experimental/moe committers: - gitcode_id: songkai111 - gitcode_id: yu-xinjie62 - gitcode_id: chen-linxin4 - gitcode_id: cc-z # ...略关联仓库除主仓外本 SIG 还管理cann/ops-tilelang仓库TileLang 算子相关其 Committer 为 kevin365、jiawei_zhuang、ChaoyangJi。结合社区活动可知TileLang-Ascend 是 CANN 社区重点推广的高性能算子编程语言与 ops-transformer 的融合算子开发形成互补。说明sig-info.yaml 中的 gitcode_id 用于机器人权限鉴权与 README 中展示的 ID 可能存在历史账号差异如chenjunjian11对应chenjunjian11属于正常现象。仓库清单与参与方式仓库清单本 SIG 负责的仓库详见 SIG 主页cann/ops-transformerTransformer 相关常用算子库cann/ops-tilelangTileLang 算子相关仓库配置于 sig-info.yaml。如何参与订阅邮件列表访问 ops-transformer 邮件列表 完成订阅跟踪例会通知、议题讨论与决策归档参加例会每单周周三 15:30–17:30通过 CANN 会议平台 加入会前可在 议题白板 申报议题阅读贡献指南并提交代码遵循 ops-transformer 贡献指南 提交 Issue 与 Pull Request注意对外 API 变更需获得 API Committer 评审新手可先阅读 社区贡献流程指引 与 GitCode 工作流了解治理规则完整了解 SIG 生命周期、角色职责与仓库孵化流程可阅读 CANN 社区 SIG 治理章程 与 组织管理文档。小结ops-transformer SIG 是 CANN 社区 Transformer 融合算子能力FlashAttention、MoE、GMM、MC2、位置编码、FFN的组织载体。它以两周一次的例会驱动技术决策以六大算子目录划分业务版图以文件级权限配置sig-info.yaml落实专人看护、API 收敛、公共代码强化评审的治理原则并通过开源直播、算子竞赛持续向社区输出技术影响力。无论你是想使用高性能 Transformer 算子、贡献融合算子实现还是参与 MoE/FlashAttention 等前沿方向的技术讨论都可以从订阅邮件列表、参加例会开始加入这个活跃的算子生态。【免费下载链接】community本项目是CANN开源社区的核心管理仓库包含社区的治理章程、治理组织、通用操作指引及流程规范等基础信息项目地址: https://gitcode.com/cann/community创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考