系列第一篇 · 硬件架构本系列共三篇①硬件架构 → ②编程与优化基础 → ③Qwen3.5 推理优化实战本文面向零基础读者不预设 GPU 或并行编程经验。所有概念都会从头解释。引言要在一块加速卡上写出高性能的程序前提是理解这块卡是怎么组织起来的。加速卡的性能特征与 CPU 差异极大很多在 CPU 上天经地义的写法搬到加速卡上会慢得离谱而加速卡上的性能瓶颈也往往出现在初学者意想不到的地方。本文从最基本的问题讲起——为什么需要加速卡——然后自外向内逐层拆解海光 DCU 的硬件架构从它在整个计算机系统中的位置到卡内部的计算单元、存储层次再到多卡、多节点的互连方式最后介绍配套的软件栈。阅读本文不需要任何 GPU 编程基础。文中出现的每一个术语都会在首次出现时解释清楚。第一章 为什么需要 DCU异构计算的基本思路1.1 CPU 与加速器的分工现代计算机系统中CPU 是通用处理器它的设计目标是把单个任务尽可能快地完成。为此CPU 投入了大量晶体管去做分支预测、乱序执行、多级大容量缓存——这些机制的共同目的是降低单条指令流的延迟。代价是这些复杂的控制逻辑很占面积所以 CPU 上能放下的计算核心并不多通常只有十几个。但有一类任务的特征完全不同它们的计算量巨大却高度并行——同一套运算要在海量数据上重复执行而且彼此独立。典型的例子是矩阵乘法、图像处理、物理仿真、深度学习。对这类任务CPU 那套把单个任务做快的思路收益有限更有效的做法是同时开动成百上千个简单的核心一起算。这就是加速器存在的意义。DCUDeep Computing Unit正是这样一款加速器它通过 PCI-E 总线与 CPU 相连作为主机系统的一个硬件扩展存在目的是为程序中某些模块或函数提供加速。于是形成了异构计算的基本分工CPU负责逻辑控制、数据处理、与外部世界交互以及调度 DCUDCU负责计算密集、高度并行的部分。值得注意的是DCU 虽然接受 CPU 的调度指挥但在运行程序时保持相对独立——它有自己的计算单元、内存控制器、线程调度器硬件构造相当完整可以视为一个独立的小系统。此外一台主机的 PCI-E 总线上可以插入多张 DCU这使得一台主机的算力具有可扩展性合理利用多 DCU 的程序可以获得更好的加速效果。1.2 两种截然不同的并行这是理解 DCU 最关键的一个观念必须在一开始就澄清。CPU 也能并行——你可以在一颗 CPU 上开出几百个线程。但这是一种假象当运行的线程数多于物理核心数时CPU 依靠时间片轮换让每个线程轮流获得计算资源给人一种众多线程同时运行的错觉。任一时刻真正在跑的线程数不超过核心数。DCU 的并行则是真正的众核同时并发所有线程都会被分配到真实的计算核心ALU上是物理意义上的同时执行。这个差别的根源在数量计算核心数量并行方式CPU通常十几个时间片轮换逻辑并行DCU数百到数千个众核同时并发物理并行一块 DCU 卡上可以有几千个流处理单元因此 DCU 也被称为流处理器。核心数量决定了吞吐能力只要任务具有足够的并行性DCU 就能更快地完成它。反过来说如果一个任务本质上是串行的、或者充满复杂的依赖与分支那它就不适合 DCU——这类任务应该留给 CPU。这一硬件特点决定了DCU 适合做计算密集型任务CPU 负责数据处理以及与外部交互的任务。第二章 DCU 整体硬件架构2.1 DCU 的组成下图展示了 DCU 的整体架构。图中左侧是一块 DCUDCU #0的内部结构右侧表示同一条 PCI-E 总线上还可以挂接多块 DCU。图 2-1 DCU 架构逻辑图从图中可以看到DCU 由以下几个关键模块组成计算单元阵列图中的 CU0、CU1 …… CUn缓存系统L1 一级缓存、L2 二级缓存全局内存global memoryCPU 和 DCU 数据通路DMA。DCU 内部有很多个计算单元Compute Unit简称CU。每个 CU 又包含4 个 SIMD 单元每个 SIMD 单元里则有很多加、减、乘等流式计算部件。这些部件层层累加构成了一块卡上数以千计的流处理单元。CU 的内部结构是本文第三章的重点这里先建立整体印象。2.2 缓存系统透明但不能忽视DCU 拥有相对完整的 cache缓存系统每个 CU 有自己的 L1 cache私有L2 cache 是全局一致的所有 CU 共享并保证数据一致性。缓存的作用是数据重用当同一份数据被反复访问时它可以留在离计算单元更近的缓存里避免每次都去远处的全局内存取。这减少了开发者手动控制数据搬运的难度提升了开发效率。需要强调的是cache 对用户是编程透明的——你不需要写代码去管理它硬件会自动完成。但不需要管不等于可以忽视在做极致性能优化时缓存命中率对性能的影响可以超过 50%。因此在优化阶段仍需要通过调整数据排布、访问顺序等方法来提升命中率。2.3 全局内存容量最大但距离最远DCU 有独立于主机内存的全局内存单元用于存储 CU 计算时要访问的数据。为满足高吞吐需求它采用相对高速的存储介质。作为对比普通显卡常采用 GDDR 内存带宽可达 500 GB/s而 DCU 可支持更为先进的HBM2存储单卡容量可达 16 GB 以上最高带宽可达 1 TB/s。这里有一个关键的物理事实必须记住全局内存是 DCU 上的片外存储。所谓片外是指它位于计算单元阵列的外面。而在芯片设计中有一条朴素的规律距离计算单元越远存储延迟越高。所以全局内存虽然是 DCU 上空间最大的存储但它的延迟也相对最高。这导致了一个初学者常常预料不到的结论DCU 程序的瓶颈往往不在于计算而在于数据读取。这个判断会贯穿整个系列。加速卡上摆着几千个计算核心算力通常不是短板真正卡住程序的是数据从全局内存搬到计算单元的这段路。因此如何优化全局内存的访问是 DCU 编程中最值得思考的问题之一。2.4 DMA让传输与计算并行DMADirect Memory Access直接内存访问的作用是把数据传输控制与指令执行控制分离开。它的工作方式是这样的当 CPU 接到把数据拷贝到 DCU的指令时并不需要自己一直盯着这个过程——DMA 单元会接管这次传输。CPU 交出控制权后即可继续执行后续指令与此同时在 DCU 一侧DMA 控制的数据传输也不会中断正在进行的计算过程。DCU 中共有两个 DMA 控制单元分别管理 CPU 与 DCU 之间、以及 DCU 与 DCU 之间的数据传输。使用 DMA 时有一点必须注意DMA 传输不能保证你读取数据时数据一定已经传输完毕。因此在应用中需要通过查询传输是否完成来保证数据使用的安全性。合理使用 DMA让数据传输与计算重叠进行可以显著提高程序的并行度。2.5 CPU 与 DCU 的互连通路DCU 上另一个重要组件是 CPU 与 DCU 之间的互连通路。当前 CPU 和 DCU 之间通过PCI-E互连双向最高带宽可达 28 GB/s。DCU 之间也支持快速互连。DMA 引擎负责 CPU↔DCU、DCU↔DCU 的数据搬迁工作。此外DCU 上还有相对完整的存储页表管理系统可以实现 DCU 直接访问 CPU 地址上的数据。这里值得把两个带宽数字放在一起看因为它们的差距决定了一条重要的编程原则通路带宽量级全局内存HBM2片上最高可达 ~1000 GB/sPCI-ECPU ↔ DCU最高 ~28 GB/s两者相差三十倍以上。这意味着把一份数据从主机内存搬到 DCU其代价远远高于在 DCU 内部反复读取同样大小的数据。由此得出异构编程的一条基本原则尽量减少主机与设备之间的数据搬运必须搬运时尽量让它与计算重叠。2.6 互连技术的发展趋势随着节点内互连技术的快速发展出现了xGMI、NVLink、CXL等快速互连技术。CPU 和 DCU 的融合趋势越来越明显已经可以实现 CPU 和 DCU 之间的 cache 一致性访问。业界预计在未来 3–5 年内有可能实现 CPU 和 DCU 在存储编程上的统一。届时上一节提到的那道PCI-E 悬崖会显著平缓异构编程的心智负担也会随之下降。第三章 DCU 核心架构计算单元 CU计算单元 CU 是贯穿 DCU 架构的核心部件也是开发者直接操控的对象。本章逐一拆解它的内部构造。下图是 CU 的架构逻辑图为简化起见图中只画出了关键部件图 2-2 DCU 核心架构逻辑图一个 CU 包含4 个 SIMD 单元图中 SIMD0 ~ SIMD3每个 SIMD 内含多个矢量计算单元vALUDCU2 上是 16 个与一个寄存器文件一个被多个 SIMD共用的标量计算单元sALU一块共享内存LDS一个私有的L1 缓存。3.1 什么是 SIMDSIMD 是Single Instruction / Multiple Data的缩写意为单指令、多数据。它描述的是这样一种执行模式一条指令同时作用在多个数据上。举例来说如果你要把 64 个数字各自加 1CPU 的传统做法是循环 64 次、执行 64 条加法指令而 SIMD 的做法是发射一条加法指令让 64 个数据同时完成加 1。SIMD 是 CU 的计算核心部件每个 CU 包含 4 个 SIMD。这种一条指令喂饱一大批数据的模式正是 DCU 能提供极高吞吐的根本原因——它省下了大量重复的取指、译码开销把晶体管都用在了真正的计算上。同时这也解释了 DCU 的适用边界SIMD 擅长的是对大量数据做同样的事。如果你的数据各自需要做不同的事SIMD 的优势就发挥不出来。3.2 wavefront线程是成组调度的在 DCU 上线程不是一个一个被调度的而是打包成组。这个组叫做wavefront。关键参数每个 SIMD 有 10 个 wavefront每个 wavefront 的大小是 64。作为对照NVIDIA GPU 中对应的概念叫 warp大小是 32。也就是说64 个线程被绑成一束一起被调度、一起执行同一条指令。这是 SIMD 模式在硬件调度层面的直接体现。理解 wavefront 64 这个数字有三个实际影响第一线程数量最好是 64 的整数倍。如果你启动了 65 个线程硬件会分配 2 个 wavefront128 个线程槽位其中 63 个槽位是空转的。凑不满一个 wavefront就是在浪费执行资源。第二同一个 wavefront 内的线程必须走同一条指令路径。这带来了分支发散branch divergence的问题当你的代码里出现if (条件) { A } else { B }而同一个 wavefront 里有的线程满足条件、有的不满足时硬件无法让它们真正同时执行两条不同的路径——只能先让满足条件的线程执行 A其余线程闲置再让不满足的线程执行 B前者闲置。两条分支被串行化了执行时间变成两者之和。因此在 DCU 编程中应尽量避免同一个 wavefront 内出现分支分歧。理想情况是让分支的粒度与 wavefront 对齐——比如让整个 wavefront 都走 A另一个 wavefront 都走 B这样就不会串行化。第三跨线程的数据交换以 wavefront 为单位。诸如求和归约这类需要线程间协作的操作其协作范围通常就是一个 wavefront。3.3 计算核心矢量单元与标量单元当 DCU 进行并行计算时线程会被分配到计算单元 ALU 上执行因此 ALU 是相当重要的部件。ALU 分为两类矢量计算单元vALU—— 主要用于复杂计算也就是你程序里真正的数值运算。每个 SIMD 上有多个DCU2 上是 16 个。标量计算单元sALU—— 主要用于地址计算、分支跳转等被多个 SIMD 共用。为什么要单独设计一个标量单元原因在于在一个 wavefront 的 64 个线程中有相当一部分计算的结果对所有线程都是相同的。比如某个数组的基地址、某个循环的边界值、某个分支的判断条件——这些量与线程编号无关。如果把这类计算交给矢量单元就意味着 64 个线程各算一遍同样的结果是 64 份重复劳动。而交给标量单元算一次就够了宝贵的矢量单元便可以省下来做真正的并行计算。需要注意的是当很多线程同时启动时会出现同一个计算单元被多个线程共用的情况使用时需要考虑资源的分配情况合理地将线程进行分配。3.4 寄存器最快的存储也是最紧俏的资源寄存器是 DCU 上访问速度最快的存储。和 CPU 相比DCU 上的寄存器数量非常多分为两类类型归属数量矢量寄存器每个线程私有每个线程最多可用256个标量寄存器被线程组共用每个线程组可分配16 ~ 102个寄存器的访问等待时间很短因此在进行密集计算时可以把常用的数据保存在寄存器中减少数据读取的开销。不同线程之间也可以通过寄存器进行数据交互。这里还引出了一个 DCU 隐藏延迟的核心机制官方表述是数据读取延迟就可以通过多个线程来回切换来掩藏掉。这句话很重要3.7 节会专门展开。同时请记住一个前提寄存器是有限资源。你每个线程用得越多同一时刻能容纳的线程就越少——这是 3.7 节的伏笔。3.5 共享内存 LDS开发者可控的高速缓存共享内存LDSLocal Data Share的作用是数据重用。每个 CU 单元设计了一块只供自己使用的 64 KB 共享内存。线程可以通过它交换数据或者把常用数据放进去以减少对全局内存的读取次数。它和 cache 的本质区别在于cache 由硬件自动管理而共享内存的使用完全由开发者控制。你可以把它理解为一块程序可控的高速缓存。典型用法是这样的如果 CU 上的多个线程都要用到同一批数据那么先由这些线程协作把数据从全局内存读一次到共享内存之后 CU 上的所有线程都从共享内存读取。通过这种数据重用原本需要多次的全局内存读取被压缩成了一次开销显著下降。bank 与 bank conflict共享内存有一个必须掌握的细节共享内存有 32 个 bank每个 bank 有 4 字节Byte。bank存储体可以理解为 32 条能够并行工作的独立通道。共享内存的地址是按 bank 交错排布的第 0~3 字节属于 bank0第 4~7 字节属于 bank1以此类推到 bank31 之后再回到 bank0 循环。如果同一时刻多个线程访问的地址落在不同的 bank上 → 这些访问可以并行完成速度最快如果多个线程访问同一个 bank 的不同地址→ 硬件只能让它们排队串行执行速度成倍下降。这就是bank conflictbank 冲突。举一个经典的例子假设你在共享内存里开了一个二维数组data[N][32]每个元素 4 字节。现在让 32 个线程分别读取同一列的元素即data[0][0]、data[1][0]、data[2][0]……由于每行正好占 32 个 bank32 × 4 字节data[0][0]和data[1][0]的地址相差整整一行——它们会落在同一个 bank 上。于是 32 个线程全部撞进 bank0访问被完全串行化性能降到 1/32。解决办法叫padding填充把数组声明为data[N][33]人为地让每行多出一个元素。这样一来相邻两行的同列元素地址就错开了一个 bank冲突随之消失。因此在使用共享内存时必须考虑 bank 冲突的问题。一个与 NVIDIA 架构的不同点官方教材特别指出了这一点值得留意DCU 的共享内存与 L1 cache 是完全分离的。在 NVIDIA 的架构中共享内存和 L1 cache 通常共用同一块物理存储可以配置两者的容量比例。而在 DCU 上它们是两块独立的硬件——你把 64 KB 共享内存用满并不会挤占 L1 缓存的容量。3.6 CU 与全局内存之间的数据通路对于全局内存每个 CU 都通过全局内存总线对其进行访问。每个 CU 有自己的 L1 cacheL2 做到 cache 一致性。cache 的存在增加了数据的重用性提高了效率。如前所述cache 对程序员是不可控的但它的命中率对性能影响很大。因此在编程时需要通过数据重排、预取等方法来提高命中率。3.7 资源、并行度与延迟隐藏这一节把前面的线索收拢讲清楚 DCU 性能的核心机制。官方教材中有这样一句总结共享内存和寄存器都是比较重要的资源这些资源会被分配给 CU 上的线程而这些资源是有限的所以这些有限的资源就决定了 CU 上可以活跃的线程数也就是并行性。这句话背后的完整逻辑链条是这样的第一步全局内存很慢。如 2.3 节所述片外的全局内存延迟很高。一个线程发出读取请求后要等待相当长的时间才能拿到数据。第二步DCU 靠换人来掩盖等待。CPU 应对延迟的办法是堆大缓存、做乱序执行想尽办法让这一条指令流别停。DCU 的思路完全不同当一个 wavefront 卡住等数据时SIMD 立刻切换到另一个已经准备好的 wavefront 去执行。只要手头随时有足够多的 wavefront 可以切换SIMD 就永远不会空转访存的延迟就被完全藏在了其他 wavefront 的计算时间里。这正是数据读取延迟可以通过多个线程来回切换来掩藏掉的含义。第三步能切换多少 wavefront取决于资源。每个 SIMD 有 10 个 wavefront 槽位但实际能同时驻留几个取决于每个 wavefront 消耗多少资源每个线程使用的矢量寄存器越多 → 能同时驻留的 wavefront 越少每个线程块使用的共享内存越多 → 能同时驻留的线程块越少。第四步并行度不足延迟就藏不住。如果可切换的 wavefront 太少当它们全都卡在等数据时SIMD 就只能干等着——延迟暴露出来性能随之下降。把这条链条连起来每线程寄存器用量 ↑ 每块共享内存用量 ↑ ↘ ↙ 能同时驻留的 wavefront 数量 ↓ ↓ 可供切换的 wavefront 不足 ↓ 访存延迟无法被掩藏 ↓ 性能下降这条链条给出了 DCU 优化中一个反直觉但极其重要的结论多用资源寄存器、共享内存未必更快。使用更多寄存器可以减少读取、使用更大的数据块可以提升访存效率但它们都会降低并行度。收益与损失在打架存在一个最优点而且通常需要实测才能找到。这也是为什么在 DCU 上把分块开得更大这类看似显然的优化常常在超过某个尺寸后反而变慢。第四章 DCU 节点架构前三章讨论的都是一块卡内部的事。本章把视野放大到整台机器以及机器与机器之间。4.1 异构计算节点的互连结构常见的异构计算节点主要由四个部分组成主存、多核处理器、I/O Hub 和 DCU 加速器。图 2-3 常见异构计算节点内部互连结构它们的连接关系如下主存System Memory与多核处理器之间通过 Memory Bus 互连常用的物理接口有 SIMM、DIMM、RIMM 等多核处理器借助I/O Hub链接多种外部设备I/O Hub通过PCI-E 总线以树状结构链接各种功能设备。在异构计算节点中主要的设备就是 DCU 加速器。由于处理器直接支持的 PCI-E 链路有最大数量限制因此在 I/O Hub 与 DCU 加速器之间还会增加PCI-E Switch从而扩展 PCI-E 链路、链接更多的设备。高级的 PCI-E Switch 支持多种链接结构并可以在其内部完成数据转发而无需多核处理器参与——这种情况下数据传输往往可以获得更高的效率。4.2 NUMA多处理器带来的陷阱如果一个异构计算节点拥有多个多核处理器那么这些处理器之间将通过 GMI、QPI 等专用总线互连。此时会出现一个容易被忽视的问题与不同处理器对应的 I/O Hub 所连接的外部设备在进行数据传输时将会受到协议的影响。最糟糕的情况是分属于不同多核处理器的外部设备之间无法通信。因此需要合理选择多核处理器、主存、DCU 加速器之间的使用关系。这种结构在计算机体系结构中被定义为NUMANon-Uniform Memory Access非一致内存访问。实践中的含义很直接应当让 CPU 线程、它使用的内存、以及它要驱动的那块 DCU 尽量位于同一个 NUMA 域内否则会出现难以解释的带宽损失甚至遇到设备间无法直接通信的情况。4.3 DCU 加速器的内部结构DCU 加速器根据其主要功能可以划分为四个主要组件执行引擎Execution Engine—— 负责计算一个或多个 DMA 拷贝引擎Copy Engine—— 负责搬运数据内存控制器Memory ControllerDCU 显存DCU Memory。图 2-4 DCU 内部互连结构DMA 拷贝引擎可以接收内存控制器的数据传输请求处理系统内存与 DCU 显存之间、以及 DCU 显存之间的数据传输。由于PCI-E 是全双工的互连协议即两个方向可以同时通信DCU 加速器拥有2 个拷贝引擎可以同时进行数据传入和数据传出的双向通信。从图 2-4 可以看出一个值得注意的结构特征执行引擎与两个拷贝引擎最终都要经过同一个内存控制器去访问 DCU 显存。这意味着计算与数据传输虽然可以并行进行但它们在访问显存时是共享同一条通路的。因此在设计程序时既要利用好三者的重叠以提升性能也要意识到它们之间存在资源竞争。合理利用 DCU 加速器各组件的执行特点将大幅度提高程序的性能。4.4 DCU 之间的互连DCU 之间通过PCI-E互连并完成数据传输。在高级 DCU 加速器上同时还支持xGMI链路。xGMIinter-chip global memory interconnect是一种开放标准全局内存互连协议的点对点高速互连。通过 xGMI 链路互连的 DCU 加速器可以获得高带宽、低延时的传输性能并且可以支持 DCU 加速器之间的缓存一致性从而实现共享显存。这对多卡程序意义重大卡间通信不再需要绕道主机内存可以直接、高效地交换数据。4.5 节点之间的互连在一个给定的服务器里每个节点都借由一个高速交换机连接到所有其他节点。这种连接开关与以太网一样简单——大多数节点的主板附带两个以太网端口一个负责内部连接另一个负责外部连接。所有的外部连接通向一个共同交换机而交换机本身处在诸如InfiniBand的高速主干网上。InfiniBand是一种网络通信协议它提供了一种基于交换的架构由处理器节点和输入/输出节点如磁盘或存储之间的点对点双向串行链路构成。它通过交换机在节点之间直接创建一个私有的、受保护的通道用于数据和消息的传输。适配器通过 PCI-E 接口一端连接到 CPU另一端通过 InfiniBand 网络端口连接到 InfiniBand 子网。与其他网络通信协议相比InfiniBand 提供了明显的优势包括更高的带宽、更低的延迟和增强的可伸缩性。第五章 DCU 软件栈硬件讲完了最后介绍配套的软件生态。5.1 HIP 软件栈DCU 拥有自己的软件栈——HIP 软件栈也叫生态系统或软件层用来支持基于 HIP 的异构计算应用程序。它是一种轻量级、模块化的软件开发环境提供多种开发工具和运行时环境同时拥有丰富的系统关键功能组件支持。每个组件根据其功能自底向上构建出完整的平台功能可适用于大规模应用程序计算、编译器及程序运行时组件开发。在软件栈中每个组件对下层功能进行封装并对上层提供必需的功能支持。自底向上分别为HIP 并行编程模型、基础数学库、管理工具、优化和调试工具。同时还提供对 OpenCL、SYCL、OpenMP 等的支持。图 2-5 Toolkit 软件栈架构图从图 2-5 可以看到完整的分层结构自下而上依次是国产加速器硬件操作系统加速器驱动Heterogeneous System Architecture 运行时系统HSA 运行时HIPHeterogeneous-Compute Interface for Portability面向可移植性的异构计算接口—— 核心的并行编程模型HIP 计算库—— BLAS、FFT、RAND、SPARSE、SOLVER、Thrust、RCCL、PRIM、ALUTION、hipcub、MIGraphX、MIVisionX、MIOpen 等应用程序层—— 高性能计算QUDA、MWChem、ReliOn、GROMACS、计算框架RAJA、Kokkos、深度学习TensorFlow、PyTorch5.2 编译工具链DCU 的编译工具链以 HIP 编译器为核心支持从源码到可执行文件的完整编译流程。HIPCC 编译器是 HIP 编程模型的主要编译入口。它本质上是一个编译驱动脚本根据目标平台自动选择合适的后端编译器。当目标平台为 DCU 时HIPCC 会调用 AMD ROCm 编译器栈中的clang作为前端将 HIP 代码.hip或.cpp文件编译为 DCU 可执行的二进制代码。编译流程大致分为以下几个阶段预处理处理宏定义、头文件包含等预处理指令编译前端将 HIP 源码解析为 LLVM 中间表示IR设备代码编译将设备端在 DCU 上执行的代码编译为 DCU 指令集架构ISA的二进制码主机代码编译将主机端在 CPU 上执行的代码编译为 x86 或 ARM 等目标架构的二进制码链接将设备代码和主机代码链接为最终的可执行文件。常用的编译命令示例如下hipcc -o my_program my_program.hip # 或指定优化级别 hipcc -O3 -o my_program my_program.hip # 链接数学库 hipcc -o my_program my_program.hip -lhipblas -lhipfft除了 HIPCCDCU 软件栈还提供了HIPIFY工具用于将现有的 CUDA 代码自动转换为 HIP 代码。HIPIFY 支持大部分 CUDA API 和内置函数的自动转换大大降低了从 NVIDIA GPU 迁移到 DCU 的工作量。5.3 性能分析工具性能分析是 DCU 编程优化中不可或缺的一环。DCU 软件栈提供了多种性能分析工具帮助开发者定位性能瓶颈。rocprof是 DCU 上的主要性能分析工具它可以收集 DCU 内核执行时的硬件计数器数据包括内核执行时间kernel execution time全局内存访问次数与带宽利用率L1/L2 缓存命中率共享内存 bank 冲突次数分支发散统计wavefront 占用率等。使用 rocprof 的基本方式如下# 收集默认性能计数器 rocprof --stats ./my_program 指定输出文件 rocprof --stats --output-dir ./profiling_results ./my_program 收集特定计数器 rocprof --counters L2CacheHitRate,MemWrites ./my_programrocprof 的输出通常包含一个 CSV 文件记录了每个内核的性能数据。开发者可以通过这些数据快速定位哪些内核耗时最长、哪些资源成为瓶颈。此外rocprof-compute是一个更高层次的分析工具它提供了更友好的可视化界面可以将性能数据以火焰图、时间线等形式展示帮助开发者直观地理解程序的执行行为。5.4 调试工具DCU 软件栈提供了多种调试工具用于排查程序中的逻辑错误、内存访问越界、数据竞争等问题。rocgdb是 DCU 上的调试器它基于 GDBGNU Debugger扩展而来支持对 DCU 设备代码进行断点调试、单步执行、变量查看等操作。使用方式与标准 GDB 类似# 启动调试 rocgdb ./my_program 在 GDB 中设置断点 (gdb) break my_kernel (gdb) run (gdb) continuerocgdb 支持以下常用调试功能在设备代码中设置断点查看设备端变量的值查看 wavefront 的执行状态检查全局内存和共享内存的内容回溯调用栈。rocprof-compute中的rocprofv3也提供了调试辅助功能包括内存错误检测和线程同步检查。此外HIP 内存检查器hip-memcheck可以检测常见的 GPU 内存错误如越界访问out-of-bounds access未初始化内存读取内存泄漏API 调用错误。使用方式非常简单hip-memcheck ./my_program5.5 总结与展望本章介绍了 DCU 的软件生态包括 HIP 编程模型、编译工具链、性能分析工具和调试工具。这些工具共同构成了 DCU 的完整开发环境使开发者能够高效地编写、调试和优化 DCU 程序。从软件栈的发展趋势来看有以下几个值得关注的方向工具链的持续完善随着 DCU 硬件的迭代编译器优化、性能分析工具和调试工具也在不断升级提供更精准的分析能力和更友好的用户体验。与主流框架的深度集成DCU 对 PyTorch、TensorFlow 等深度学习框架的支持越来越完善使得 AI 开发者可以无缝使用 DCU 进行模型训练和推理。开源生态的繁荣HIP 作为开源标准吸引了越来越多的社区贡献计算库的种类和功能都在快速扩展。跨平台兼容性HIP 的设计目标之一就是跨平台兼容同一份 HIP 代码可以编译运行在 DCU、AMD GPU 甚至 NVIDIA GPU通过 HIP-CUDA 后端上这为开发者提供了极大的灵活性。至此本系列第一篇——硬件架构篇——全部结束。从下一篇文章开始我们将进入编程与优化基础篇介绍如何在 DCU 上编写高效的 HIP 程序。
