MindSpore大模型预训练实战：昇腾910B高效训7B中文LLM

1. 这不是“又一个LLM训练教程”而是用MindSpore跑通大模型预训练的实战手记我从2022年就开始在华为昇腾生态里做模型训练最早用的是Caffe和PyTorch后来团队全面转向MindSpore。不是因为“国产替代”的口号而是实打实踩过坑之后发现当你要训一个7B参数量的中文LLM在8卡昇腾910B集群上跑满30天MindSpore的图编译优化、内存复用策略和算子融合能力真能帮你省下至少40%的GPU小时成本——这直接换算成电费、机时费和项目周期。今天说的这个“MindSpore Transformers LLM 预训练模型高效训练”不是调几个API、改几行config就完事的玩具项目。它是一套经过3个真实业务场景金融文本生成、医疗知识问答、政务公文续写验证过的端到端流程核心目标就一个让预训练这件事从“看运气”变成“可预测、可复现、可压测”。关键词里的“高效”不是指单卡吞吐快而是指单位算力投入下的有效token吞吐量最大化——也就是你花1块钱电费到底喂进了模型多少高质量中文语料。我见过太多团队把PyTorch那一套直接搬过来结果在昇腾上跑出50%的硬件利用率最后发现瓶颈不在显存而在数据流水线卡在Host侧CPU解码也见过有人盲目堆batch size结果梯度累积步数没对齐loss曲线像心电图一样乱跳。这篇内容就是把这些血泪教训连同具体参数怎么算、日志怎么看、checkpoint怎么救全摊开讲清楚。适合两类人一类是刚从PyTorch转过来、对着MindSpore文档一脸懵的算法工程师另一类是负责资源调度的运维同学需要知道为什么这个训练任务总在凌晨两点OOM。不讲虚的只讲你明天就能改、能试、能见效的细节。2. 为什么非得用MindSpore Transformers绕不开的三个硬约束2.1 硬件锁死昇腾910BPyTorch方案已失效先说最现实的约束我们所有训练集群都是纯昇腾910B服务器没有一块NVIDIA GPU。这不是政策要求而是采购合同里白纸黑字写的“算力底座统一为昇腾AI处理器”。很多团队第一反应是上PyTorchAscend CANN但实测下来问题很具体PyTorch的动态图机制在昇腾上触发大量Host-Device同步尤其在长序列2048自回归生成时单步延迟从12ms飙到47ms。我们做过对比测试——同样一个RoPE位置编码FlashAttention的实现在PyTorch里每个step要等3次显存拷贝在MindSpore里通过ms.jit装饰器编译后整个前向反向被压成一个静态图Host侧开销降到0.8ms。这不是理论值是我们在2023年Q4用昇腾910B 4U服务器实测的数据。更关键的是PyTorch的分布式训练依赖NCCL而昇腾的HCCL虽然兼容NCCL接口但底层通信协议完全不同。我们曾试图用PyTorch DDP跑7B模型结果在8卡同步梯度时rank0和rank7的all-reduce耗时差了230ms导致梯度更新不同步loss直接发散。MindSpore的DistributedTraining模块原生适配HCCL所有通信原语都经过昇腾芯片指令集深度优化实测8卡all-reduce延迟标准差5ms。所以“为什么用MindSpore”第一个答案很朴素硬件决定了软件栈不是技术选型是生存选择。2.2 Transformers库的“水土不服”必须被解决第二个硬约束来自生态。Hugging Face的Transformers库是行业事实标准但直接pip install后在MindSpore环境里跑会立刻报错“aimv2 is already used by a transformers config, pick another name.” 这个错误背后是配置注册冲突——HF的AutoConfig会扫描所有已加载模块而MindSpore的mindnlp包里自带了一套同名config类。我们试过删掉mindnlp结果发现其内置的TextDataset数据加载器比HF的Dataset在昇腾上快1.8倍原因见后文数据流水线章节。最终解决方案是不替换而是在MindSpore Transformers中做“配置桥接层”。具体做法是在mindspore_transformers/models/llama/config.py里把HF的LlamaConfig继承关系改成MindSporeConfig基类并重写from_pretrained方法让它优先读取mindspore_config.json而非config.json。这样既保留了HF的模型结构定义又接管了权重加载逻辑。这个改动看似小却避免了后续所有模型权重转换的麻烦——比如你用HF训好的7B权重只需改一行config_class LlamaMsConfig就能直接加载进MindSpore训练脚本不用再跑一遍convert_hf_to_ms.py。很多团队卡在这一步以为必须重训其实只是配置没对齐。2.3 “高效”的本质是算力-数据-算法三者的咬合精度第三个约束来自业务目标。“高效训练”不是单纯追求吞吐量而是满足三个刚性指标收敛稳定性在30万步内loss下降曲线必须平滑不能有0.3的突刺资源利用率8卡昇腾910B的平均硬件利用率含计算、内存、通信≥78%故障恢复率单次训练中断后从最近checkpoint恢复的时间≤8分钟。这三个指标互相制约。比如为了提升吞吐量有人把batch_size从32拉到64结果显存爆了触发OOM kill或者为了稳定loss把学习率调得太保守导致收敛慢实际训练时间反而更长。MindSpore的“高效”体现在它提供了可微调的精度控制粒度。举个例子在混合精度训练中PyTorch默认用amp.autocast但昇腾芯片对FP16的某些算子支持不完整比如Softmax在FP16下数值不稳定。MindSpore的ms.amp模块允许你单独指定某个Layer用FP32比如LlamaForCausalLM.lm_head层强制FP32其他层用FP16这样既保住了数值精度又没牺牲计算速度。这种细粒度控制在PyTorch里要么靠自己写custom autocast context要么就得接受全局降级。我们实测过对7B模型这种分层混合精度比全局FP16的loss波动降低62%且训练速度只慢1.3%。所以“高效”在这里是在确定性约束下找到算力、数据、算法三者最优咬合点而不是单点突破。3. 核心细节拆解从数据准备到checkpoint保存的12个关键决策点3.1 数据流水线为什么用MindSpore Dataset比HF Dataset快1.8倍数据加载是预训练的第一道瓶颈。我们对比过三种方案HFDataset.from_generatorDataCollatorForLanguageModelingPyTorchDataLoader 自定义collate_fnMindSporetext.TextDatasettext.PadTransform。结果很明确MindSpore方案在昇腾上吞吐量最高。原因不在代码本身而在内存映射与零拷贝设计。HF的Dataset默认把文本读入Python list再由collate_fn拼成tensor这个过程涉及多次CPU内存分配和拷贝而MindSpore的TextDataset直接用mmap打开二进制分块文件.bin格式PadTransform在GPU显存里完成padding全程不经过Host内存。我们用perf工具抓取过traceHF方案每batch有47次malloc调用MindSpore只有3次。更关键的是MindSpore的text模块内置了分词器绑定机制——你把Tokenizer对象传给TextDataset它会在数据加载时直接调用C版分词器基于SentencePiece而不是像HF那样在Python层调用tokenizer.encode()。实测对中文文本单次encode耗时从12.3ms降到2.1ms。所以不要纠结“哪个Tokenizer更好”而要问“哪个能和数据流水线深度耦合”。我们的标准流程是先用HF的LlamaTokenizer离线把语料转成input_ids.bin和attention_mask.bin两个二进制文件再用MindSporeTextDataset加载。注意.bin文件必须按int64格式存储因为昇腾的Ascend算子对int32的gather操作有bug会导致sequence length错乱。3.2 模型结构Llama 2的RoPE实现为何必须重写Llama 2的旋转位置编码RoPE是预训练稳定性的关键。HF的实现是标准的torch.bmm矩阵乘但在昇腾上跑会触发隐式类型转换——bmm输入是FP16但内部临时变量被升到FP32导致显存占用翻倍。我们重写了RoPE层核心改动有三点移除所有bmm改用ms.ops.MatMul显式指定trans_aFalse, trans_bTrue避免自动转置带来的额外内存将cos/sin缓存从nn.Parameter改为ms.Tensor常量Parameter会被optimizer追踪而RoPE缓存不需要梯度改成Tensor后显存占用从1.2GB降到28MB实现apply_rotary_pos_emb的in-place版本原HF实现会创建新tensor我们用ms.ops.ScatterUpdate直接在原q/ktensor上修改减少一次显存分配。这个重写带来的收益很实在单卡处理2048长度序列时RoPE计算耗时从8.7ms降到1.9ms且显存峰值下降31%。更重要的是它解决了“loss突刺”问题——我们发现原HF实现中cos/sin缓存的dtype在某些step会意外变成FP32导致后续计算精度崩塌。重写后所有tensor的dtype严格锁定为FP16loss曲线平滑度提升40%。这不是炫技而是昇腾芯片特性倒逼的必要改造。3.3 混合精度与梯度缩放ScaleLoss的三个致命陷阱MindSpore的混合精度训练用ScaleLoss类但它的默认参数在LLM场景下全是坑。我们踩过三个典型陷阱陷阱1scale_value固定为1024。这是为CV任务设计的对LLM的梯度方差太大。正确做法是动态调整每200步用ms.ops.ReduceMean算一次grad_norm如果grad_norm 10.0就把scale_value乘以1.2如果 0.5就除以1.5。这个动态策略让loss震荡幅度降低57%。陷阱2loss_scale_manager的init_loss_scale设太高。初始设1024但LLM前1000步梯度很小导致overflow频繁触发scale_value被反复重置。我们改成init_loss_scale64并加了warmup前500步线性升到1024。陷阱3ScaleLoss和GradAccumulation的顺序错误。很多人把梯度累积放在ScaleLoss外面结果scale_value在累积期间不更新等到真正step()时scale_value已经过时。正确顺序是ScaleLoss→GradAccumulation→Optimizer.step()。提示ScaleLoss的get_overflow_status()返回的是ms.Tensor不能直接用if overflow:判断必须用ms.ops.logical_not(overflow)否则会触发图模式编译失败。3.4 分布式训练8卡AllReduce的通信拓扑怎么画昇腾的HCCL通信不是简单的ring-allreduce而是分层树形拓扑。8卡服务器通常有2个昇腾AI芯片每个芯片4卡芯片间用DaVinci总线芯片内用PCIe。如果按默认的hccl_world_size8HCCL会把8卡当成平级导致跨芯片通信走PCIe带宽只有DaVinci的1/3。我们的解决方案是显式声明hccl_comm的层级。在启动脚本里加两行export HCCL_WHITELIST_FILE/path/to/whitelist_8card.json export HCCL_OVER_DUMP1whitelist_8card.json内容如下{ groups: [ { group_name: chip0, ranks: [0,1,2,3], group_type: chip }, { group_name: chip1, ranks: [4,5,6,7], group_type: chip } ] }这样HCCL就知道先在chip0内做all-reduce走DaVinci再在chip1内做最后两个chip之间用hccl_allreduce同步。实测通信耗时从18.2ms降到6.7ms。更进一步我们还做了梯度压缩在DistributedTraining的grad_reducer里把allreduce换成allreduce_fp16即只同步FP16梯度再在接收端转回FP32。这招让通信量减半但要注意lm_head层必须禁用压缩否则分类头精度损失太大。3.5 学习率调度Cosine Decay必须配Warmup但Warmup步数怎么算LLM预训练的学习率曲线Warmup步数不是拍脑袋定的。我们用了一个经验公式warmup_steps (total_tokens * 0.02) / (batch_size * seq_len * num_devices)其中total_tokens是语料总token数0.02是warmup占比2%这是从Llama 2论文里抄来的但必须校准。我们发现中文语料的total_tokens要乘1.3——因为中文分词后平均token数比英文多30%。举个实例语料100GB中文文本经LlamaTokenizer分词后约120B tokensbatch_size32, seq_len2048, num_devices8warmup_steps (120e9 * 0.02) / (32 * 2048 * 8) ≈ 4570步。但实测发现4570步后loss还在爬坡于是我们加了双阶段Warmup前3000步线性升到lr_max后1570步用cosine从lr_max升到1.2*lr_max再开始主decay。这个小改动让收敛速度提升22%且避免了early stopping。注意lr_max不能直接设3e-4而要用3e-4 * sqrt(batch_size/32)做scaling这是Megatron-LM的结论我们验证过有效。3.6 Checkpoint保存为什么不能只存model.ckpt预训练中断恢复只存模型权重是自杀行为。我们强制保存四个文件model.ckpt模型参数optimizer.ckpt优化器状态含momentum、variancetrain_state.ckpt当前step、loss scaler值、rng seeddataset_state.bin数据加载器的file pointer位置。最后一个最容易被忽略。MindSpore的Dataset在shuffle后每个epoch的样本顺序是随机的如果只恢复model和optimizerDataset会从头开始读导致重复或漏掉样本。我们的dataset_state.bin是个二进制文件记录current_file_index和current_offset恢复时用TextDataset的load_state方法加载。实测恢复后loss曲线和中断前完全重合证明数据流没断。另外model.ckpt必须用ms.save_checkpoint不能用pickle因为昇腾的tensor layout和CPU不同pickle会损坏权重。3.7 日志监控SummaryCollector的采样频率怎么设MindSpore的SummaryCollector用来收集loss、grad norm等指标但默认每10步采样一次在LLM训练里太粗。我们改成loss每1步采样因为loss波动大要看细节grad_norm每50步采样梯度变化慢memory_usage每200步采样显存变化平缓lr每1步采样学习率调度要精确。关键是summary_dir路径必须挂载到SSD不能是NFS。我们吃过亏NFS写summary文件时SummaryCollector会阻塞训练导致step time飙升。现在所有summary都写到本地NVMe SSD再用rsync同步到中心存储。3.8 评估指标Perplexity计算为何必须用eval_batch_size1预训练评估用困惑度Perplexity公式是exp(-mean(log_prob))。但如果你用batch_size32计算log_prob是batch内平均会掩盖样本差异。我们坚持eval_batch_size1并加了动态序列截断对每个样本只计算[1:]位置的log_prob跳过第一个token因为第一个token没有上下文。更关键的是log_prob必须用ms.ops.LogSoftmax计算不能用ms.ops.Softmax再取log——前者是数值稳定的后者在FP16下会溢出。实测显示eval_batch_size1的PPL比batch_size32低0.8且和HF评估结果一致。3.9 资源隔离如何防止训练进程吃光所有CPU昇腾训练时MindSpore的Dataset线程会抢占CPU资源导致SSH登录变慢、监控进程卡死。我们用cgroups做了硬隔离# 创建cpu cgroup sudo cgcreate -g cpu:/ml_train # 限制CPU使用率不超过60% echo 600000 | sudo tee /sys/fs/cgroup/cpu/ml_train/cpu.cfs_quota_us echo 1000000 | sudo tee /sys/fs/cgroup/cpu/ml_train/cpu.cfs_period_us # 把训练进程加入cgroup sudo cgclassify -g cpu:ml_train $(pgrep -f python train.py)这样即使数据加载线程满负荷也不会影响系统其他服务。注意cfs_quota_us和cfs_period_us的比值就是CPU配额百分比600000/100000060%。3.10 环境变量GLOG_logtostderr必须关掉MindSpore默认开启GLOG_logtostderr1把所有日志打到stdout导致tail -f train.log里全是I0321...这种debug信息真正的loss被刷屏。我们加了export GLOG_logtostderr0 export GLOG_log_dir./logs export GLOG_stderrthreshold2 # 只输出WARNING及以上这样日志文件干净且stderrthreshold2对应WARNINGERROR是3INFO是0DEBUG是1——别设成0不然日志爆炸。3.11 模型导出ms.export的file_name为何不能含路径用ms.export(model, llama_7b, file_formatMINDIR)导出时file_name只能是文件名不能是./output/llama_7b。因为MindSpore的export会自动在当前目录建./output文件夹如果file_name含路径会创建嵌套目录导致后续推理时报FileNotFoundError。正确做法是先os.makedirs(./output, exist_okTrue)再ms.export(model, llama_7b, file_formatMINDIR, path./output/)。3.12 故障恢复train_state.ckpt损坏了怎么办train_state.ckpt损坏是高频事故。我们写了recover_state.py脚本读取model.ckpt里的global_step在./logs里找最近的loss_*.txt提取最后一行的step取两者最大值作为recovered_step用recovered_step重新初始化lr_scheduler和loss_scaler。这个脚本能在30秒内完成恢复比重训快1000倍。4. 实操全流程从零搭建7B Llama中文预训练环境的17步详解4.1 环境准备昇腾驱动与CANN版本的黄金组合第一步永远是环境。昇腾910B必须用特定版本组合错一个就编译失败。我们锁定昇腾驱动Ascend-hdc-6.3.RC12023年12月LTS版CANN6.3.RC1必须和驱动同版本MindSpore2.2.14适配CANN 6.3Python3.9.16MindSpore 2.2.14官方认证版本。安装命令# 先装驱动 sudo sh Ascend-hdc-6.3.RC1.run --install # 再装CANN sudo sh Ascend-cann-toolkit_6.3.RC1_linux-x86_64.run --install # 最后pip install MindSpore pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/2.2.14/Ascend/zh-cn/monolithic/pytorch-2.0.0-cp39-cp39-manylinux2014_x86_64.whl注意pytorch-2.0.0是MindSpore的wheel包名不是PyTorch别被名字骗了。装完后运行msrun --help如果报command not found说明PATH没加执行source /usr/local/Ascend/ascend-toolkit/set_env.sh。4.2 语料预处理从原始文本到.bin文件的四道工序语料处理是预训练质量的基石。我们不用HF的tokenize_dataset而是自己写pipeline清洗用正则过滤HTML标签、URL、连续空格保留中文、英文字母、数字、常用标点分块按\n\n切段每段≤2048 token不足的补|endoftext|分词用LlamaTokenizer的encode方法add_special_tokensFalsespecial token在collate时加二进制化把input_ids和attention_mask分别存为int64格式的.bin文件。Python代码片段import numpy as np from transformers import LlamaTokenizer tokenizer LlamaTokenizer.from_pretrained(meta-llama/Llama-2-7b-chat-hf) with open(corpus.txt, r) as f: lines f.readlines() input_ids_list [] for line in lines: ids tokenizer.encode(line.strip(), add_special_tokensFalse) if len(ids) 2048: ids ids[:2048] else: ids [tokenizer.eos_token_id] * (2048 - len(ids)) input_ids_list.append(ids) # 转numpy int64 input_ids_arr np.array(input_ids_list, dtypenp.int64) input_ids_arr.tofile(input_ids.bin)注意dtypenp.int64是必须的昇腾的Ascend算子对int32的gather有bug。4.3 模型定义LlamaForCausalLM的MindSpore移植要点HF的LlamaForCausalLM不能直接用要重写construct方法class LlamaMsForCausalLM(LlamaPreTrainedModel): def __init__(self, config): super().__init__(config) self.model LlamaModel(config) # 用MindSpore版LlamaModel self.lm_head ms.nn.Dense(config.hidden_size, config.vocab_size, has_biasFalse) # 关键lm_head用FP32 self.lm_head.to_float(ms.float32) def construct(self, input_ids, attention_maskNone, labelsNone): outputs self.model(input_ids, attention_mask) hidden_states outputs[0] # [bs, seq_len, hidden_size] logits self.lm_head(hidden_states) # [bs, seq_len, vocab_size] loss None if labels is not None: # shift logits and labels for next-token prediction shift_logits logits[:, :-1, :] shift_labels labels[:, 1:] # 计算loss用ms.ops.CrossEntropyLoss loss_fn ms.nn.CrossEntropyLoss() loss loss_fn(shift_logits.view(-1, shift_logits.shape[-1]), shift_labels.view(-1)) return (loss, logits) if loss is not None else logits重点lm_head必须to_float(ms.float32)且CrossEntropyLoss要用MindSpore原生的不能用torch.nn.CrossEntropyLoss。4.4 数据加载器TextDataset的完整配置from mindspore.dataset import text, GeneratorDataset from mindspore.dataset.transforms import text # 加载二进制文件 input_ids np.fromfile(input_ids.bin, dtypenp.int64).reshape(-1, 2048) attention_mask np.ones_like(input_ids) # 简化实际需根据长度生成 # 创建TextDataset dataset text.TextDataset( dataset_files[input_ids.bin], shuffleTrue, num_parallel_workers8, python_multiprocessingTrue ) # 定义transform pad_op text.PadTransform(padding_width2048, pad_value0) dataset dataset.map(operations[pad_op], input_columns[input_ids]) # collate def collate_fn(batch): input_ids ms.ops.stack([x[input_ids] for x in batch]) labels ms.ops.copy(input_ids) # labels就是input_ids右移一位 return input_ids, labels dataset dataset.batch(batch_size32, per_batch_mapcollate_fn)注意num_parallel_workers8是经验值大于CPU核心数会拖慢小于4会瓶颈。4.5 训练脚本train.py的核心骨架import mindspore as ms from mindspore import nn, ops from mindspore.train import Model from mindspore.train.callback import LossMonitor, TimeMonitor, SummaryCollector # 1. 初始化 ms.set_context(modems.GRAPH_MODE, device_targetAscend, device_id0) ms.set_seed(42) # 2. 加载模型和数据 model LlamaMsForCausalLM.from_pretrained(config.json) dataset create_dataset() # 上节定义的dataset # 3. 定义优化器 optimizer nn.AdamWeightDecay( model.trainable_params(), learning_rate3e-4, weight_decay0.01 ) # 4. 混合精度 scale_loss ms.amp.ScaleLoss(loss_fn, optimizer, scale_value1024) # 5. 构建Model model_train Model( networkscale_loss, optimizeroptimizer, loss_fnNone, # loss已在scale_loss里 amp_levelO2 # O2表示FP16FP32混合 ) # 6. 回调函数 callbacks [ LossMonitor(1), TimeMonitor(100), SummaryCollector(summary_dir./summary, collect_freq1) ] # 7. 开始训练 model_train.train( epoch100, train_datasetdataset, callbackscallbacks, dataset_sink_modeTrue # 必须True否则性能暴跌 )dataset_sink_modeTrue是昇腾的关键开关它把数据加载和计算图融合提升吞吐量。4.6 分布式启动msrun的参数详解单机8卡启动命令msrun --worker_num8 \ --server_num1 \ --local_worker_num8 \ --master_port8080 \ --joinTrue \ --log_dir./logs \ --device_num0,1,2,3,4,5,6,7 \ python train.py--worker_num8总worker数--local_worker_num8本机worker数--device_num0,1,2,3,4,5,6,7指定使用的device id--log_dir日志输出目录每个rank有自己的log文件。4.7 监控看板用mindinsight实时看loss曲线安装mindinsightpip install mindinsight2.2.14启动服务mindinsight start --summary-base-dir ./summary --port 8080然后浏览器打开http://localhost:8080就能看到实时loss曲线、grad norm、memory usage。注意summary-base-dir必须和SummaryCollector的summary_dir一致。4.8 Checkpoint管理自动保存与手动触发在训练脚本里加from mindspore.train.callback import CheckpointConfig, ModelCheckpoint config_ck CheckpointConfig( save_checkpoint_steps1000, # 每1000步存一次 keep_checkpoint_max10, # 最多存10个 integrated_saveFalse # 不存网络图只存权重 ) ckpoint_cb ModelCheckpoint( prefixllama_7b, directory./checkpoints, configconfig_ck ) callbacks.append(ckpoint_cb)手动触发保存在训练中按CtrlCModelCheckpoint会自动保存当前state。4.9 中断恢复train.py的resume逻辑修改train.py加resume支持# 检查checkpoint ckpt_file ./checkpoints/llama_7b-1000_1.ckpt if os.path.exists(ckpt_file): param_dict ms.load_checkpoint(ckpt_file) ms.load_param_into_net(model, param_dict) # 从checkpoint里读step step int(ckpt_file.split(-)[1].split(_)[0]) print(fResume from step {step})4.10 评估脚本eval.py的Perplexity计算def calculate_ppl(model, dataset): model.set_train(False) total_loss 0.0 num_batches 0 for data in dataset.create_tuple_iterator(): input_ids, labels data logits model(input_ids) shift_logits logits[:, :-1, :] shift_labels labels[:, 1:] loss loss_fn(shift_logits.view(-1, shift_logits.shape[-1]), shift_labels.view(-1)) total_loss loss.asnumpy() num_batches 1 return np.exp(total_loss / num_batches) ppl calculate_ppl(model, eval_dataset) print(fPerplexity: {ppl:.2f})4.11 模型导出生成.mindir用于推理# 导出为MINDIR格式 ms.export(model, llama_7b, file_formatMINDIR, path./output/) # 导出为AIR格式旧版 # ms.export(model, llama_7b, file_formatAIR, path./output/)导出后./output/llama_7b.mindir就是推理用的模型文件。4.12 推理验证用ms.load加载模型# 加载导出的模型 net ms.load(llama_7b.mindir) # 创建推理引擎 model ms.Model(net) # 输入token input_ids ms.Tensor([[1, 2, 3, 4]], ms.int64) output model.predict(input_ids) print(output)4.13 性能压测用msprof分析瓶颈# 启动profiling msprof --output ./profiling --start python train.py msprof --stop # 生成报告 msprof --export ./profiling_report --format html报告里看Operator耗时定位是MatMul还是Softmax慢。4.14 日志分析grep快速定位OOM当训练OOM时日志里搜grep Out of memory ./logs/rank_0.log