Kronos-mini NPU 性能测试：昇腾910B上74ms延迟的同步计时与npu-smi快照解析
Kronos-mini NPU 性能测试昇腾910B上74ms延迟的同步计时与npu-smi快照解析【免费下载链接】kronos-mini-npu可直接在华为昇腾 NPU 上运行用于金融 K 线序列的预测与分类。该项目基于 Kronos-mini 模型提供完整的 NPU 推理流程支持确定性输入与结果校验并附带性能测试与精度对比。项目地址: https://ai.gitcode.com/atlasleong/kronos-mini-npuKronos-mini 是一个可直接在华为昇腾 NPU 上运行的金融 K 线candlestick时间序列预测与分类模型。本文以昇腾 910B4-1 上的真实NPU 性能测试为主线教你读懂74ms 同步计时延迟是怎么测出来的以及如何用npu-smi 快照核对 8 卡的健康状态、功耗与温度最后用确定性输入 精度对比完成结果校验——全程无 CPU 回退、无写死输出。核心数据速览指标实测值测试硬件昇腾 910B4-1逻辑设备npu:08 卡 HealthOK单次推理均值延迟74.03 ms中位数 73.94 msp90 75.24 ms计时配置warmup 3 次 重复 10 次synchronizedtrueCPU/NPU 精度最大绝对误差1.43e-05阈值 0.001✅ 通过离散输出一致性class_ids 逐位完全相同argmax 一致率 1.0CPU 回退CPU_FALLBACKfalse硬断言强制 NPU 执行npu-smi 快照逐行读法8 卡 910B 的健康、功耗与温度测试期间执行npu-smi info抓取的快照长这样对应仓库中 assets/npu_device_call.png读快照时盯住 4 个区域就够用了版本头npu-smi 25.2.0 / Version: 25.2.0先确认驱动工具链版本与 CANN 8.5.1 匹配设备表上半部分8 张910B4-1全部HealthOK功耗 90~128W、温度 33~39°C 均属正常区间AICore(%)接近 0 说明快照抓在推理间歇期显存占用约 2.8~3.4GB / 65536MB正是 Kronos-mini 加载后的驻留规模进程表下半部分python3.11推理进程挂在 NPU 0~3单进程显存约 25GB 量级进程视角含框架上下文分配空卡提示No running processes found in NPU 4/6表示该卡空闲可用于判断推理是否真的只落在npu:0。 把快照与推理日志时间对齐保存是 NPU 性能测试可追溯性的关键一步。NPU 同步计时三步法为什么这个 74ms 数字可信NPU 是异步执行设备torch 操作默认入队即返回不同步就计时量出来的只是排队时间而不是真实推理时间。本项目的做法是① 预热 3 轮warmup_iterations3排除算子首次编译、HBM 冷缓存等一次性开销② 同步计时 10 轮repeat_iterations10synchronizedtrue每轮结束先做设备同步再打点保证计时覆盖完整的 NPU 前向③ 计时口径固定覆盖 inference.py 单次完整推理 tokenizer 编码 32 根 K 线 → 8 步自回归贪心解码decode_s1 → decode_s2→ tokenizer 解码回连续 K 线空间即输入 32 根、预测 8 根的全流程。贪心argmax解码是确定性的同样的固定种子seed12345、lookback32、pred_len8、clip5.0见 kronos_common.py在任何环境都能复现同样的输入序列延迟数字因此才有横向对比意义。74ms 延迟拆解10 次同步计时统计10 次同步计时原始值ms73.121542, 75.318502, 73.897966, 73.318753, 73.356855, 73.989946, 73.441173, 74.252177, 74.368907, 75.235923统计结果统计量数值 (ms)解读min / max73.12 / 75.32极差仅约 2.2msmean74.03对外引用的74ms 延迟median73.94与均值几乎重合无离群值std0.74标准差 1ms推理非常稳定p9075.24长尾延迟同样可控对 4.1M 参数、batch1 的模型而言74ms 里主要是8 步串行自回归解码的累计耗时每步都要跑一遍 4 层 Transformer 两次 argmax而不是编码或解码端——这也解释了为什么 std 能压到 0.7ms每步计算量固定NPU 调度稳定。读懂 FORECAST 输出与精度对比结果推理结束时的真实终端输出对应 assets/model_result.png输出里的关键标记逐个看TEST_INPUTohlcv-window seed12345 lookback32 pred_len8 clip5.0INPUT_SEQUENCE…确定性输入证据两次运行首行数值逐位一致即可复现FORECAST[[-0.541348, -0.344728, …]]8×6 连续预测值open/high/low/close/volume/amount由真实 NPU 前向产生禁止写死ARGMAX_CLASS_IDS762,762,…,7628 位全 762逐位置贪心分类结果PREDICTED_CLASS/PREDICTED_TOKEN_ID取自末位INPUT_DEVICE/MODEL_DEVICE/OUTPUT_DEVICE/LOGITS_DEVICE全部npu:0且CPU_FALLBACKfalse设备驻留硬断言通过EXIT_CODE0正常退出。与 CPU 基线的精度对比PRECISION_COMPARE同样给出硬指标position_logits最大绝对误差1.43e-05、平均绝对误差3.11e-06均远低于阈值0.001 / 0.0001离散输出class_ids逐位相同——说明昇腾 NPU 上的数值行为与 CPU 基线在工程意义上等价。快速复现昇腾910B上跑通同一套性能测试环境要求Ascend 910B CANN 8.5.1 torch 2.9.0 / torch_npu 2.9.0 Python 3.11aarch64。仓库内 requirements.txt 已精确 pin 全部 21 个依赖model/model.safetensors 与 model/config.json 内置权重与结构参数d_model256、4 头 4 层、上下文 2048# 1) 获取项目torch / torch_npu 由昇腾 worker 镜像提供不在此安装 git clone https://gitcode.com/atlasleong/kronos-mini-npu cd kronos-mini-npu # 2) 加载 CANN 环境变量 source /usr/local/Ascend/ascend-toolkit/set_env.sh # 3) 按精确闭包安装依赖华为镜像 export PIP_INDEX_URLhttps://repo.huaweicloud.com/repository/pypi/simple/ pip install --ignore-installed --no-deps -r requirements.txt # 4) 执行 NPU 推理权重 local_files_only 本地加载不访问网络 python3 inference.py看到CPU_FALLBACKfalse与EXIT_CODE0就说明你已经和本文相同的口径跑完了一次推理再配一轮warmup 3 同步计时 10的循环就能得到你自己的延迟统计表。附Model Agent 完整适配工作流留痕整个模型上卡过程还有一条完整证据链可查——从模型审计、依赖闭包解析、CPU/NPU 精度对比到性能计时与最终验收每一步都落盘为可核对的日志文件见 assets/agent_workflow.png一句话总结在昇腾 910B 上Kronos-mini 的32 根 K 线 → 8 根预测单次推理稳定在74ms 上下、波动不足 1ms配合 npu-smi 快照与逐位精度对比这套 NPU 性能测试方法可以直接迁移到你自己的 torch_npu 项目里。【免费下载链接】kronos-mini-npu可直接在华为昇腾 NPU 上运行用于金融 K 线序列的预测与分类。该项目基于 Kronos-mini 模型提供完整的 NPU 推理流程支持确定性输入与结果校验并附带性能测试与精度对比。项目地址: https://ai.gitcode.com/atlasleong/kronos-mini-npu创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考