# L1ToBiasTable Buffer数据搬运【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品AI Core不支持Atlas 推理系列产品Vector Core不支持Atlas 训练系列产品不支持Kirin X90不支持Kirin 9030不支持功能说明头文件路径为basic_api/kernel_operator_data_copy_intf.h。DataCopy数据搬运支持将矩阵计算用到的Bias参数从L1 Buffer移动到BiasTable Buffer。针对Atlas A2 训练系列产品/Atlas A2 推理系列产品和Atlas A3 训练系列产品/Atlas A3 推理系列产品BiasTable Buffer总大小为1KB。针对Ascend 950PR/Ascend 950DTBiasTable Buffer总大小为4KB。函数原型连续搬运场景。template typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const LocalTensorT src, const uint32_t count)连续或非连续搬运场景高维切分。template typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const LocalTensorT src, const DataCopyParams repeatParams)连续或非连续搬运场景支持源操作数和目的操作数数据类型不一致。template typename T, typename U __aicore__ inline void DataCopy(const LocalTensorT dst, const LocalTensorU src, const DataCopyParams repeatParams)参数说明表1模板参数说明参数名称输入/输出含义T、U输入操作数的数据类型。具体支持情况请参考数据类型。表2参数说明参数名输入/输出含义dst输出目的操作数类型为LocalTensor。存储位置为BiasTable BufferTPosition为C2目的地址需要64字节对齐。src输入源操作数类型为LocalTensor存储位置为L1 BufferTPosition为C1源地址需要32字节对齐。count输入参与搬运的元素个数。注count * sizeof(T)需要32字节对齐若未对齐搬运量会向下取整到32字节对齐。repeatParams输入搬运参数DataCopyParams类型。通过该参数可配置搬运的数据块大小、个数、间隔等信息同时支持非连续和连续搬运。上述结构体参数定义请参考${INSTALL_DIR}/asc/include/basic_api/interface/kernel_struct_data_copy.h${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。参数说明见表3。表3DataCopyParams结构体参数定义参数名称含义blockCount待搬运的连续传输数据块个数。uint16_t类型取值范围blockCount∈[0, 4095]。注blockCount 0表示不执行搬运该接口将被视为NOP空操作。blockLen待搬运的每个连续传输数据块长度uint16_t类型取值范围blockLen∈[0, 65535]。不同产品型号的blockLen单位不同具体请参考约束说明。注blockLen 0表示不执行搬运该接口将被视为NOP空操作。srcGap源操作数相邻连续数据块的间隔前面一个数据块的尾与后面数据块的头的间隔单位为DataBlock32字节。uint16_t类型srcGap∈[0, 2^16-1]。• blockCount 1时srcGap无意义设置为0即可。• blockCount ≠ 1时当srcGap0时表示重复搬出源操作数的第一个数据块。dstGap目的操作数相邻连续数据块间的间隔前面一个数据块的尾与后面数据块的头的间隔uint16_t类型dstGap∈[0, 2^16-1]。不同产品型号的dstGap单位不同具体请参考约束说明。• blockCount 1时dstGap无意义设置为0即可。• blockCount ≠ 1时当dstGap0时表示目的矩阵中搬入的每个数据块都会覆盖第一个数据块。数据类型源操作数和目的操作数支持数据类型不一样具体请参考如下针对Ascend 950PR/Ascend 950DTsrc支持的数据为half、bfloat16_t、int32_t、floatdst支持的数据为int32_t、float。针对Atlas A3 训练系列产品/Atlas A3 推理系列产品src支持的数据为half、int32_t、floatdst支持的数据为int32_t、float。针对Atlas A2 训练系列产品/Atlas A2 推理系列产品src支持的数据为half、int32_t、floatdst支持的数据为int32_t、float。返回值说明无约束说明dst物理内存为BiasTable Buffer起始地址要求64字节对齐src物理内存为L1 Buffer起始地址要求32字节对齐。blockCount取值范围blockCount∈[0, 4095]blockCount 0表示指令不执行该接口将被视为NOP空操作。srcGap∈[0, 2^16-1]dstGap∈[0, 2^16-1]。如果BiasTable Buffer中的目标dst地址溢出将引发异常。blockLen对不同型号单位不一样具体请参考如下针对Ascend 950PR/Ascend 950DT单位为32字节blockLen必须为偶数。针对Atlas A3 训练系列产品/Atlas A3 推理系列产品单位为64字节。针对Atlas A2 训练系列产品/Atlas A2 推理系列产品单位为64字节。dstGap对不同型号单位不一样具体请参考如下针对Ascend 950PR/Ascend 950DT单位为32字节。针对Atlas A3 训练系列产品/Atlas A3 推理系列产品单位为64字节。针对Atlas A2 训练系列产品/Atlas A2 推理系列产品单位为64字节。调用示例L1 Buffer-BiasTable Buffer搬运Bias参数。// c1Addr 128 * 1024、c2Addr 0__NPU_ARCH__ 3510时c12c2Params {1, 32, 0, 0}否则为 {1, 16, 0, 0}。 AscendC::LocalTensoroutputType bias1Local(AscendC::TPosition::C1, c1Addr, biasSizeAlign); AscendC::LocalTensoroutputType bias2Local(AscendC::TPosition::C2, c2Addr, biasSizeAlign); if constexpr (SCENARIO_NUM 4) { SplitBias(bias1Local, bias2Local); } __aicore__ inline void SplitBias(AscendC::LocalTensoroutputType bias1Local, AscendC::LocalTensoroutputType bias2Local) { #if defined(__NPU_ARCH__) (__NPU_ARCH__ 3510) AscendC::DataCopyParams c12c2Params {1, static_castuint16_t(biasSizeAlign * sizeof(outputType) / 32), 0, 0}; #else AscendC::DataCopyParams c12c2Params {1, static_castuint16_t(biasSizeAlign * sizeof(outputType) / 64), 0, 0}; #endif AscendC::DataCopy(bias2Local, bias1Local, c12c2Params); }完整示例请参考data_copy_gm2l1样例中场景4。【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
