LeRobot 仿真训练全流程：录、训、评三命令跑通闭环

LeRobot 仿真训练全流程录、训、评三命令跑通闭环【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot本文带你跑通 LeRobot 的仿真训练全流程遥操作录出演示数据、训练策略、跑评估看成功率最后上真机前逐项核对。主命令都能直接复制只需改三处你的用户名、你的串口、你的任务描述。先判断现在适不适合上手装包之前先花 1 分钟对环境缺哪项补哪项。GPU 是唯一不影响能不能跑、只影响跑多快的一项。项目结论Python 版本3.123.10 及以下先升级系统Linux 或 macOS 原生Windows 需先装 WSL2内存16GB 从容8GB 能跑大数据集吃力磁盘依赖、缓存、数据集共预留 50GBGPU非必需有 NVIDIA 卡可把几小时的训练压到 1 小时内直接开干的最低门槛Python 3.12 Linux 16GB 内存有无 GPU 都能往下走。机器是 4GB 内存的笔记本、或只有纯 Windows 桌面环境先缓一缓这条流水线。装环境一条命令验真整个安装就三行主干贴进去等进度条即可视网络 5~15 分钟。git clone https://gitcode.com/GitHub_Trending/le/lerobot cd lerobot # 拉取 LeRobot 源码 python -m venv .venv source .venv/bin/activate # 建独立虚拟环境 pip install -e .[aloha,pusht,training] # Aloha/PushT 仿真 训练依赖随后用一条命令验真通过标准是没有红字、能看到版本号python -c import lerobot, gym_aloha; print(lerobot.__version__)能打出 0.x.y 之类的版本号安装就算完成后面的数据、权重缓存也都在这里命令全部在这个虚拟环境里跑。若报 ModuleNotFoundError 或 ffmpeg 相关错误按顺序先查三处跑python -V确认版本在 3.12 及以上跑ffmpeg -version确认 ffmpeg 已装网络问题就给 pip 换国内镜像重试数据、训练、评估每个环节只盯一件事三个环节各只有一个唯一关注点录数据盯帧和动作对得上训练盯 loss 下降评估盯成功率。跑完你手里会有三样东西数据集、权重、分数。整条链路是个闭环不达标回炉达标才上真机 录数据只看帧和动作对得上遥操作录制就是人带一遍程序存一遍手推主臂从动臂跟随lerobot-record在背后同步存下每帧画面、关节角和你的动作。主命令真机录制示例50 集起步lerobot-record \ --robot.typeso100_follower --robot.port/dev/ttyACM0 \ --teleop.typeso100_leader \ --dataset.repo_id你/pick_cube \ --dataset.num_episodes50 \ --dataset.single_taskGrab the cube参数含义--robot.type/--robot.port从动臂型号与串口--teleop.type控制设备主臂--dataset.repo_id数据集 ID用户名/数据集名--dataset.num_episodes录多少集从 50 起步--dataset.single_task一句话任务描述每录完一集程序提示 Reset the environment留你十几秒把物体摆回初始位姿摆好再松手下一集才开始。之后想补数据时每集换一下物体初始位姿多样性直接决定后面的泛化。手头没有真机也完全能起步训练和评估直接用 Hub 上的公开演示数据集如lerobot/aloha_insertion整条流程不变。验收跑lerobot-dataset-viz --repo_id 你/pick_cube打开本地页面抽 3 集看——视频里夹爪开合关节曲线必须在同一时刻有对应起伏曲线抖动超过 10% 的集直接弃掉。不达标先做那件事别碰超参先用lerobot-edit-dataset删掉坏集补齐 50 集干净数据再进下一环节。判断标准一句话连着 3 集都对不上帧和动作说明主臂太松把那几集重录。 训练策略只看 loss 在不在下降先选策略三个候选各一句话策略数据量需求推理速度适合场景ACT约 50 集快新手默认单臂/双臂操作Diffusion100 集较慢多模态动作分布、精细抓取TDMPC20~50 集快低维状态观测、无相机小任务明确推荐50 集数据就选ACT默认超参不用动Diffusion 要 100 集才喂得饱TDMPC 只适合无相机的低维场景新手都可以先不考虑。策略源码在 src/lerobot/policies/ 里想深挖原理再去看。lerobot-train \ --policy.typeact \ --dataset.repo_id你/pick_cube \ --policy.devicecuda \ --steps100000 \ --wandb.enabletrue \ --output_diroutputs/train/act_pick参数含义--policy.typeact策略新手默认 ACT--dataset.repo_id数据来源与录制一致--policy.device有 N 卡填cuda无 GPU 填cpu--steps10 万步单卡约几小时--wandb.enable云端盯曲线可关--output_dircheckpoint 存放位置验收打开 wandb 面板盯loss——前 1 万步稳定往下走、后段趋平就算训练有效跑完后outputs/train/act_pick/checkpoints/step/下要能拿到pretrained_model目录出现多个 checkpoint 时取 step 最大的那个。不达标先做那件事先看数据量不足 50 集就补数据数据够了 loss 还高再回头查学习率和--batch_size。判断标准一句话数据喂不饱的时候调参没有意义。 跑评估只看成功率评估是策略上真机前的一场模拟考把它放回仿真环境自主跑 20 集分数落在输出目录的eval_info.json里。20 集自己跑完要几分钟这中间你可以离开。lerobot-eval \ --policy.pathoutputs/train/act_pick/checkpoints/step/pretrained_model \ --env.typealoha --env.taskAlohaInsertion-v0 \ --eval.n_episodes20 \ --policy.devicecuda参数含义--policy.path训练出来的最新权重路径--env.type/--env.task仿真环境与任务--eval.n_episodes评估集数20 集足够下判断验收eval_info.json里盯三个数——pc_success是判据20 集成 15 集即 75%70% 以上算达标avg_sum_reward在成功率相同时越高说明完成得越稳eval_ep_s是单集耗时它偏大上真机就会掉帧。不达标先做那件事把失败集的视频翻一遍判断是不是数据缺了这种场景然后补数据再训。判断标准一句话视频里看到的失败场景数据集里没有对应样本就是数据问题不是模型问题。 上真机前先核对这几处仿真里成功率过 70% 别急着庆祝仿真顺滑是因为物理参数和物体初始位姿全都已知真机上的摩擦、时延、光照都会变部署前先逐项对齐。差异点对齐动作出错后果动作空间维度对齐相机数量、关节角/末端位姿表示维度错一位动作全乱控制频率--fps与数据集一致真机常见 10~30Hz掉帧或动作节奏错位观测特征用lerobot-info核对特征清单缺一项观测模型输出异常部署走lerobot-rollout指定权重和真机配置即可lerobot-rollout \ --strategy.typebase \ --policy.pathoutputs/train/act_pick/checkpoints/step/pretrained_model \ --robot.typeso100_follower --robot.port/dev/ttyACM0 \ --taskGrab the cube --duration30两条部署期技巧首跑加--display_datatrue在 Rerun 窗口盯动作曲线看夹爪和关节是否平滑动作卡顿就加--use_torch_compiletrue把推理速度提上来。判断标准首跑曲线全平滑、连做 3 次抓取轨迹都稳就算部署完成。卡住了按这个顺序排查排查顺序固定为三步由外到内不用瞎猜环境跑python -V与ffmpeg -version哪项缺补哪项环节验证回对应环节重跑验收——数据跑lerobot-dataset-viz抽查训练看checkpoints/下最新目录评估看eval_info.json的pc_success参数还卡住就逐个--参数对照 docs/source/ 里的说明所有参数含义都在文档里。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考