MMPose 推理实战指南：MMPoseInferencer 统一接口与底层 Python 推理 API 详解

MMPose 推理实战指南MMPoseInferencer 统一接口与底层 Python 推理 API 详解【免费下载链接】mmposeOpenMMLab Pose Estimation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmpose本文基于 MMPose 官方用户指南《使用现有模型进行推理》系统讲解 MMPose 执行姿态估计推理的两种接口——面向快速上手的统一推理器MMPoseInferencer含 CLI 工具、结果转储、可视化与全部参数说明、模型别名体系和面向深度定制的底层 Python 推理 APIinit_model/inference_topdown/ 可视化器。读完后你可以用别名一行代码完成人体/手部/面部/动物/全身/3D 姿态推理也可以在自己的管线中精细控制输入边界框、数据样本与可视化输出。两种推理接口概览MMPose 为姿态估计提供了大量预测训练好的模型模型清单可参考仓库根目录的 model-index.yml。针对“如何使用训练好的模型对图像或视频运行姿态估计”MMPose 提供了两种推理接口接口特点适用人群推理器Inferencer统一的推理接口自动处理输入检测、结果转储与可视化所有用户尤其是快速验证与部署场景推理 APIPython API更灵活的自定义推理需自行处理输入和输出熟悉 MMPose 内部机制、需要深度定制的用户两条路线的核心实现都位于 mmpose/apis 目录推理器实现见 mmpose/apis/inferencers底层 API 实现见 mmpose/apis/inference.py 与 mmpose/apis/visualization.py。推理器统一的推理接口MMPose 提供了一个被称为MMPoseInferencermmpose/apis/inferencers/mmpose_inferencer.py的、全面的推理 API。这个 API 使得用户得以使用所有 MMPose 支持的模型来对图像和视频进行模型推理。此外该 API 可以完成推理结果自动化并方便用户保存预测结果。从源码结构看MMPoseInferencer是一个“门面”类它在构造函数中根据参数选择底层推理器——指定pose3d时构建Pose3DInferencer含hand3d时构建Hand3DInferencer指定pose2d时构建Pose2DInferencermmpose/apis/inferencers/mmpose_inferencer.py。而preprocess数据准备、forward模型前向、visualize可视化、postprocess结果打包与转储四阶段的公共逻辑则集中在基类 BaseMMPoseInferencer 中实现。基本用法MMPoseInferencer可以在任何 Python 程序中被用来执行姿态估计任务。以下是在 Python Shell 中使用预训练的人体姿态模型对给定图像进行推理的示例from mmpose.apis import MMPoseInferencer img_path tests/data/coco/000000000785.jpg # 将img_path替换给你自己的路径 # 使用模型别名创建推理器 inferencer MMPoseInferencer(human) # MMPoseInferencer采用了惰性推断方法在给定输入时创建一个预测生成器 result_generator inferencer(img_path, showTrue) result next(result_generator)如果一切正常你将在一个新窗口中看到输入图像上叠加估计姿态关键点 骨架的可视化窗口。result变量是一个包含两个键visualization和predictions的字典visualization键对应的值是一个列表包含可视化结果例如输入图像、估计姿态的标记以及可选的预测热图。如果没有指定return_vis参数该列表将保持为空。predictions键对应的值是一个包含每张图像、每个检测实例预估关键点的列表。result字典的结构如下所示result { visualization: [ # 元素数量batch_size默认为1 vis_image_1, ... ], predictions: [ # 每张图像的姿态估计结果 # 元素数量batch_size默认为1 [ # 每个检测到的实例的姿态信息 # 元素数量检测到的实例数 {keypoints: ..., # 实例 1 keypoint_scores: ..., ... }, {keypoints: ..., # 实例 2 keypoint_scores: ..., ... }, ] ... ] }这段结果打包逻辑可以在 BaseMMPoseInferencer.postprocess 中得到印证默认情况下预测会被split_instances拆分为可 JSON 序列化的实例字典列表如果传入return_datasamplesTrue则会保留原始的PoseDataSample对象。单元测试 test_mmpose_inferencer.py 中同样断言了results1[predictions][0][0]含有 17 个 COCO 关键点以及return_datasamplesTrue时返回PoseDataSample类型。命令行界面工具CLIinferencer_demo.py除了 Python 接口还可以使用命令行界面工具 demo/inferencer_demo.py。这个工具允许用户使用以下命令使用相同的模型和输入执行推理python demo/inferencer_demo.py tests/data/coco/000000000785.jpg \ --pose2d human --show --pred-out-dir predictions预测结果将被保存在路径predictions/000000000785.json。作为 APIinferencer_demo.py的输入参数与MMPoseInferencer相同源码中parse_args()demo/inferencer_demo.py把参数划分为初始化参数--pose2d、--pose2d-weights、--pose3d、--pose3d-weights、--det-model、--det-weights、--det-cat-ids、--scope、--device、--show-progress和调用参数--show、--bbox-thr、--nms-thr、--pose-based-nms、--kpt-thr、--radius、--thickness、--skeleton-style、--vis-out-dir、--pred-out-dir等最终通过MMPoseInferencer(**init_args)加inferencer(**call_args)完成推理与 Python 接口完全一致。该 CLI 能够处理一系列输入类型图像路径视频路径文件夹路径这会导致该文件夹中的所有图像都被推断出来表示图像的 numpy array在命令行界面工具中未支持表示图像的 numpy array 列表在命令行界面工具中未支持摄像头在这种情况下输入参数应该设置为webcam或webcam:{CAMERA_ID}源码中输入归一化由 BaseMMPoseInferencer._inputs_to_list 完成字符串路径会被识别为目录仅收集其中的图像文件并排序、视频通过mmcv.VideoReader逐帧读取或单张图像numpy 数组则被包装为单元素列表。对于摄像头输入_get_webcam_inputs 会解析webcam:id格式省略 id 时默认为 0并按帧产出 BGR 图像。当输入对应于多个图像时例如输入为视频或文件夹路径时推理生成器必须被遍历以便推理器对视频/文件夹中的所有帧/图像进行推理。以下是一个示例folder_path tests/data/coco result_generator inferencer(folder_path, showTrue) results [result for result in result_generator]在这个示例中inferencer接受folder_path作为输入并返回一个生成器对象result_generator用于生成推理结果。通过遍历result_generator并将每个结果存储在results列表中你可以获得视频/文件夹中所有帧/图像的推理结果。对于视频输入还有一个源码级细节所有帧的预测会先在内部缓冲video_info[predictions]推理结束后由 _finalize_video_processing 统一写出——可视化结果合成一个与输入同名的.mp4视频预测结果则合并为单个 JSON 文件每帧带frame_id字段而不是逐帧一个文件源码。自定义姿态估计模型MMPoseInferencer提供了几种可用于自定义所使用的模型的方法# 使用模型别名构建推理器 inferencer MMPoseInferencer(human) # 使用模型配置名构建推理器 inferencer MMPoseInferencer(td-hm_hrnet-w32_8xb64-210e_coco-256x192) # 使用 3D 模型配置名构建推理器 inferencer MMPoseInferencer(pose3dmotionbert_dstformer-ft-243frm_8xb32-120e_h36m) # 使用模型配置文件和权重文件的路径或 URL 构建推理器 inferencer MMPoseInferencer( pose2dconfigs/body_2d_keypoint/topdown_heatmap/coco/ \ td-hm_hrnet-w32_8xb64-210e_coco-256x192.py, pose2d_weightshttps://download.openmmlab.com/mmpose/top_down/ \ hrnet/hrnet_w32_coco_256x192-c78dce93_20200708.pth )也就是说pose2d参数可以接受三种形式模型别名如human、metafile 中定义的配置名如td-hm_hrnet-w32_8xb64-210e_coco-256x192、或直接指向配置文件的相对/绝对路径当使用配置名且未显式提供pose2d_weights时权重将从 metafile 自动加载。上述代码为 2D 模型推理器的构建例子。3D 模型的推理器可以用类似的方式通过pose3d参数构建# 使用 3D 模型别名构建推理器 inferencer MMPoseInferencer(pose3dhuman3d) # 使用 3D 模型配置名构建推理器 inferencer MMPoseInferencer(pose3dmotionbert_dstformer-ft-243frm_8xb32-120e_h36m) # 使用 3D 模型配置文件和权重文件的路径或 URL 构建推理器 inferencer MMPoseInferencer( pose3dconfigs/body_3d_keypoint/motionbert/h36m/ \ motionbert_dstformer-ft-243frm_8xb32-120e_h36m.py, pose3d_weightshttps://download.openmmlab.com/mmpose/v1/body_3d_keypoint/ \ pose_lift/h36m/motionbert_ft_h36m-d80af323_20230531.pth )此外自顶向下的姿态估计器还需要一个对象检测模型。MMPoseInferencer能够推断用 MMPose 支持的数据集训练的模型的实例类型然后构建必要的对象检测模型。这个“自动推断”机制的实现在 BaseMMPoseInferencer._init_detector 中它会从姿态模型配置的数据集类型解析出目标类别human / face / hand / animal 等再从 default_det_models.py 的默认映射表取出对应的检测器配置、权重与类别 id映射表覆盖humanRTMDet-mperson 类别、faceYOLOX-sface 类别、hand、animalCOCO 动物类别 15-23等。用户也可以通过以下方式手动指定检测模型# 通过别名指定检测模型 # 可用的别名包括“human”、“hand”、“face”、“animal”、 # 以及mmdet中定义的任何其他别名 inferencer MMPoseInferencer( # 假设姿态估计器是在自定义数据集上训练的 pose2dcustom_human_pose_estimator.py, pose2d_weightscustom_human_pose_estimator.pth, det_modelhuman ) # 使用模型配置名称指定检测模型 inferencer MMPoseInferencer( pose2dhuman, det_modelyolox_l_8x8_300e_coco, det_cat_ids[0], # 指定human类的类别id ) # 使用模型配置文件和权重文件的路径或URL构建推理器 inferencer MMPoseInferencer( pose2dhuman, det_modelf{PATH_TO_MMDET}/configs/yolox/yolox_l_8x8_300e_coco.py, det_weightshttps://download.openmmlab.com/mmdetection/v2.0/ \ yolox/yolox_l_8x8_300e_coco/ \ yolox_l_8x8_300e_coco_20211126_140236-d3bd2b23.pth, det_cat_ids[0], # 指定human类的类别id )需要注意top-down 推理器依赖 MMDetection 提供的DetInferencer需要 mmdet 3.0.0 及以上版本这一点在 BaseMMPoseInferencer 的导入兼容处理中可见若检测到数据集类型不在默认映射表内例如全图类数据集也可以通过det_modelwhole_image关闭检测器直接以整图作为边界框。转储结果在执行姿态估计推理任务之后你可能希望保存结果以供进一步分析或处理。本节将指导你将预测的关键点和可视化结果保存到本地。要将预测保存在JSON 文件中在运行MMPoseInferencer实例inferencer时使用pred_out_dir参数result_generator inferencer(img_path, pred_out_dirpredictions) result next(result_generator)预测结果将以 JSON 格式保存在predictions/文件夹中每个文件以相应的输入图像或视频的名称命名源码中文件名为输入路径的 basename 加上.json见 postprocess。对于更高级的场景还可以直接从inferencer返回的result字典中访问预测结果。其中predictions包含输入图像或视频中每个单独实例的预测关键点列表。然后你可以使用你喜欢的方法操作或存储这些结果。请记住如果你想将可视化图像和预测文件保存在一个文件夹中你可以使用out_dir参数result_generator inferencer(img_path, out_diroutput) result next(result_generator)在这种情况下依据 MMPoseInferencer.call的实现可视化图像将保存在output/visualizations/文件夹中而预测将存储在output/predictations/文件夹中当未单独指定vis_out_dir/pred_out_dir时二者会被自动设置为f{out_dir}/visualizations和f{out_dir}/predictions。可视化推理器inferencer可以自动对输入的图像或视频进行预测。可视化结果可以显示在一个新的窗口中并保存在本地。要在新窗口中查看可视化结果使用showTrue。请注意如果输入视频来自网络摄像头默认情况下将在新窗口中显示可视化结果以此让用户看到输入——源码中对webcam输入会强制打开显示模式并给出相应警告mmpose_inferencer.py。如果平台上没有 GUI这个步骤可能会卡住。要将可视化结果保存在本地可以像这样指定vis_out_dir参数result_generator inferencer(img_path, vis_out_dirvis_results) result next(result_generator)输入图片或视频的可视化预测结果将保存在vis_results/文件夹中。在开头展示的滑雪图中姿态的可视化估计结果由关键点用实心圆描绘和骨架用线条表示组成。这些视觉元素的默认大小可能不会产生令人满意的结果。用户可以使用radius和thickness参数来调整圆的大小和线的粗细如下所示result_generator inferencer(img_path, showTrue, radius4, thickness2) result next(result_generator)从源码看这些参数在 BaseMMPoseInferencer.visualize 中生效radius会赋值给可视化器的visualizer.radiusthickness赋值给visualizer.line_width默认值为radius3、thickness1、kpt_thr0.3关键点分数阈值低于该值的关键点不绘制。此外还有black_backgroundTrue可在纯黑背景上绘制姿态img img * 0适合单独导出骨架动画。推理器参数MMPoseInferencer提供了各种自定义姿态估计、可视化和保存预测结果的参数。源码中所有调用参数会按四个白名单集合被分发到对应阶段preprocess_kwargs、forward_kwargs、visualize_kwargs、postprocess_kwargs见 mmpose_inferencer.py不属于任何集合的键会被直接过滤掉——这也是自定义参数时“不报错但不生效”的原因。下面是初始化推理器时可用的参数列表及对这些参数的描述ArgumentDescriptionpose2d指定 2D 姿态估计模型的模型别名、配置文件名称或配置文件路径。pose2d_weights指定 2D 姿态估计模型权重文件的 URL 或本地路径。pose3d指定 3D 姿态估计模型的模型别名、配置文件名称或配置文件路径。pose3d_weights指定 3D 姿态估计模型权重文件的 URL 或本地路径。det_model指定对象检测模型的模型别名、配置文件名或配置文件路径。det_weights指定对象检测模型权重文件的 URL 或本地路径。det_cat_ids指定与要检测的对象类对应的类别 id 列表。device执行推理的设备。如果为None推理器将选择最合适的一个。scope定义模型模块的名称空间默认为mmpose。show_progress是否在推理循环中显示进度条源码 构造函数 支持CLI 对应--show-progress。推理器被设计用于可视化和保存预测。以下表格列出了在使用MMPoseInferencer进行推断时可用的参数列表以及它们与 2D 和 3D 推理器的兼容性参数描述2D3Dshow控制是否在弹出窗口中显示图像或视频。✔️✔️radius设置可视化关键点的半径。✔️✔️thickness确定可视化链接的厚度。✔️✔️kpt_thr设置关键点分数阈值。分数超过此阈值的关键点将被显示。✔️✔️draw_bbox决定是否显示实例的边界框。✔️✔️draw_heatmap决定是否绘制预测的热图。✔️❌black_background决定是否在黑色背景上显示预估的姿势。✔️❌skeleton_style设置骨架样式。可选项包括mmpose默认和openpose。✔️❌use_oks_tracking决定是否在追踪中使用 OKS 作为相似度测量。❌✔️tracking_thr设置追踪的相似度阈值。❌✔️disable_norm_pose_2d决定是否将边界框缩放至数据集的平均边界框尺寸并将边界框移至数据集的平均边界框中心。❌✔️disable_rebase_keypoint决定是否将最低关键点的高度置为 0。❌✔️num_instances设置可视化结果中显示的实例数量。如果设置为负数则所有实例的结果都会可视化。❌✔️return_vis决定是否在结果中包含可视化图像。✔️✔️vis_out_dir定义保存可视化图像的文件夹路径。如果未设置将不保存可视化图像。✔️✔️return_datasamples决定是否以PoseDataSample格式返回预测。✔️✔️pred_out_dir指定保存预测的文件夹路径。如果未设置将不保存预测。✔️✔️out_dir如果vis_out_dir或pred_out_dir未设置它们将分别设置为f{out_dir}/visualizations或f{out_dir}/predictions。✔️✔️补充两个源码中可查证的预处理参数bbox_thr边界框分数阈值默认 0.3与nms_thr边界框 IoU 阈值默认 0.3作用于 top-down 预处理阶段Pose2DInferencer.preprocess_single对 bottom-up 模型这两个值会被直接写入模型 head 的test_cfgscore_thr/nms_thr见 base_mmpose_inferencer.py用于过滤预测。forward阶段还有merge_resultstop-down 多边界框结果合并与pose_based_nms基于邻近关节数去重的 NMS见 pose2d_inferencer.py后者在 CLI 中默认对yoloxpose、rtmo类 one-stage 模型启用demo/inferencer_demo.py。skeleton_style的生效位置在 Pose2DInferencer.update_model_visualizer_settings取值只能是mmpose或openpose否则抛出ValueErrordraw_heatmap则通过model.test_cfg[output_heatmaps]控制模型是否输出热图供可视化叠加。模型别名MMPose 为常用模型提供了一组预定义的别名。在初始化MMPoseInferencer时这些别名可以用作简略的表达方式而不是指定完整的模型配置名称。下面是可用的模型别名及其对应的配置名称的列表别名配置文件名称对应任务姿态估计模型检测模型animalrtmpose-m_8xb64-210e_ap10k-256x256动物姿态估计RTMPose-mRTMDet-mhumanrtmpose-m_8xb256-420e_body8-256x192人体姿态估计RTMPose-mRTMDet-mbody26rtmpose-m_8xb512-700e_body8-halpe26-256x192人体姿态估计RTMPose-mRTMDet-mfacertmpose-m_8xb256-120e_face6-256x256人脸关键点检测RTMPose-myolox-shandrtmpose-m_8xb256-210e_hand5-256x256手部关键点检测RTMPose-mssdlite_mobilenetv2wholebodyrtmpose-m_8xb64-270e_coco-wholebody-256x192人体全身姿态估计RTMPose-mRTMDet-mvitposetd-hm_ViTPose-base-simple_8xb64-210e_coco-256x192人体姿态估计ViTPose-baseRTMDet-mvitpose-std-hm_ViTPose-small-simple_8xb64-210e_coco-256x192人体姿态估计ViTPose-smallRTMDet-mvitpose-btd-hm_ViTPose-base-simple_8xb64-210e_coco-256x192人体姿态估计ViTPose-baseRTMDet-mvitpose-ltd-hm_ViTPose-large-simple_8xb64-210e_coco-256x192人体姿态估计ViTPose-largeRTMDet-mvitpose-htd-hm_ViTPose-huge-simple_8xb64-210e_coco-256x192人体姿态估计ViTPose-hugeRTMDet-m下表列出了可用的 3D 姿态估计模型别名及其对应的配置文件别名配置文件名称对应任务3D 姿态估计模型2D 姿态估计模型检测模型human3dvid_pl_motionbert_8xb32-120e_h36m3D 人体姿态估计MotionBertRTMPose-mRTMDet-mhand3dinternet_res50_4xb16-20e_interhand3d-256x2563D 手部关键点检测InterNet-全图从源码结构看别名并非硬编码在推理器中get_model_alias.py 的get_model_aliases()会从仓库/安装目录的 metafile即 model-index.yml中读取每个模型条目的Alias字段支持字符串或字符串列表因此一个模型可以有多个别名如body与human等价、wholebody复用human检测配置生成“别名 - 配置名”字典。此外用户可以使用命令行界面工具显示所有可用的别名使用以下命令python demo/inferencer_demo.py --show-alias推理 API用于更加灵活的自定义推理MMPose 还提供了单独的 Python API 用于不同模型的推理这种推理方式更加灵活但是需要用户自己处理输入和输出因此适合于熟悉 MMPose的用户。MMPose 提供的 Python 推理接口存放于 mmpose/apis 目录下以下是一个构建 topdown 模型并进行推理的示例构建模型from mmcv.image import imread from mmpose.apis import inference_topdown, init_model from mmpose.registry import VISUALIZERS from mmpose.structures import merge_data_samples model_cfg configs/body_2d_keypoint/rtmpose/coco/rtmpose-m_8xb256-420e_coco-256x192.py ckpt https://download.openmmlab.com/mmpose/v1/projects/rtmposev1/rtmpose-m_simcc-body7_pt-body7-halpe26_700e-256x192-4d3e73dd_20230605.pth device cuda # 使用初始化接口构建模型 model init_model(model_cfg, ckpt, devicedevice)对应实现为 mmpose/apis/inference.py 中的init_model(config, checkpointNone, devicecuda:0, cfg_optionsNone)其行为要点均可在源码中确认接受配置文件路径、Path或Config对象cfg_options可用于覆盖配置项通过build_pose_estimator构建模型并用revert_sync_batchnorm还原 SyncBN便于单机推理dataset_meta的加载优先级为checkpoint 中的 meta 模型配置 默认 COCO meta源码如果三者都取不到会警告并回退到configs/_base_/datasets/coco.py的 metainfo未提供 checkpoint 时模型以随机权重运行仅用于打通管线最终model.eval()并把完整配置挂在model.cfg上供后续推理与可视化取用 pipeline / visualizer 配置。推理img_path tests/data/coco/000000000785.jpg # 单张图片推理 batch_results inference_topdown(model, img_path)inference_topdown(model, img, bboxesNone, bbox_formatxyxy)的完整签名mmpose/apis/inference.py中bboxes支持传入 N×4 的边界框列表bbox_format可选xyxy或xywh后者会自动转换不传bboxes时会把整张图片当作单个边界框处理。每个边界框会走一遍配置中的test_dataloader.dataset.pipeline经pseudo_collate打包后调用model.test_step返回List[PoseDataSample]。对 bottom-up 模型则使用同文件中的inference_bottomup(model, img)。推理接口返回的结果是一个PoseDataSample列表每个PoseDataSample对应一张图片的推理结果。PoseDataSample的结构如下所示[ PoseDataSample( ori_shape: (425, 640) img_path: tests/data/coco/000000000785.jpg input_size: (192, 256) flip_indices: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15] img_shape: (425, 640) gt_instances: InstanceData( bboxes: array([[ 0., 0., 640., 425.]], dtypefloat32) bbox_centers: array([[320. , 212.5]], dtypefloat32) bbox_scales: array([[ 800. , 1066.6666]], dtypefloat32) bbox_scores: array([1.], dtypefloat32) ) gt_instance_labels: InstanceData() pred_instances: InstanceData( keypoints: array([[[365.83333333, 87.50000477], [372.08333333, 79.16667175], [361.66666667, 81.25000501], [384.58333333, 85.41667151], [357.5 , 85.41667151], [407.5 , 112.50000381], [363.75 , 125.00000334], [438.75 , 150.00000238], [347.08333333, 158.3333354 ], [451.25 , 170.83333492], [305.41666667, 177.08333468], [432.5 , 214.58333325], [401.25 , 218.74999976], [430.41666667, 285.41666389], [370. , 274.99999762], [470. , 356.24999452], [403.33333333, 343.74999499]]]) bbox_scores: array([1.], dtypefloat32) bboxes: array([[ 0., 0., 640., 425.]], dtypefloat32) keypoint_scores: array([[0.8720184 , 0.9068178 , 0.89255375, 0.94684595, 0.83111566, 0.9929208 , 1.0862956 , 0.9265839 , 0.9781244 , 0.9008082 , 0.9043166 , 1.0150217 , 1.1122335 , 1.0207931 , 1.0099326 , 1.0480015 , 1.0897669 ]], dtypefloat32) keypoints_visible: array([[0.8720184 , 0.9068178 , 0.89255375, 0.94684595, 0.83111566, 0.9929208 , 1.0862956 , 0.9265839 , 0.9781244 , 0.9008082 , 0.9043166 , 1.0150217 , 1.1122335 , 1.0207931 , 1.0099326 , 1.0480015 , 1.0897669 ]], dtypefloat32) ) ) ]其中pred_instances.keypoints与pred_instances.keypoint_scores即最终预测形状为 N×K×2 与 N×KN 为实例数、K 为关键点数。用户可以通过.来访问PoseDataSample中的数据例如pred_instances batch_results[0].pred_instances pred_instances.keypoints # array([[[365.83333333, 87.50000477], # [372.08333333, 79.16667175], # [361.66666667, 81.25000501], # [384.58333333, 85.41667151], # [357.5 , 85.41667151], # [407.5 , 112.50000381], # [363.75 , 125.00000334], # [438.75 , 150.00000238], # [347.08333333, 158.3333354 ], # [451.25 , 170.83333492], # [305.41666667, 177.08333468], # [432.5 , 214.58333325], # [401.25 , 218.74999976], # [430.41666667, 285.41666389], # [370. , 274.99999762], # [470. , 356.24999452], # [403.33333333, 343.74999499]]])可视化在 MMPose 中大部分可视化基于可视化器实现。可视化器是一个类它接受数据样本并将其可视化。MMPose 提供了一个可视化器注册表用户可以使用VISUALIZERS来实例化它。以下是一个使用可视化器可视化推理结果的示例# 将推理结果打包 results merge_data_samples(batch_results) # 初始化可视化器 visualizer VISUALIZERS.build(model.cfg.visualizer) # 设置数据集元信息 visualizer.set_dataset_meta(model.dataset_meta) img imread(img_path, channel_orderrgb) # 可视化 visualizer.add_datasample( result, img, data_sampleresults, showTrue)set_dataset_meta传入的model.dataset_meta决定了关键点的颜色、名称与骨架连接关系skeleton它与训练配置中的数据 metainfo如 configs/base/datasets/coco.py保持一致而可视化器配置model.cfg.visualizer决定了窗口尺寸、线宽等渲染细节。MMPose 也提供了更简洁的可视化接口实现在 mmpose/apis/visualization.py它内部自动创建PoseLocalVisualizer、解析 metainfo、包装临时PoseDataSample并调用add_datasamplefrom mmpose.apis import visualize pred_instances batch_results[0].pred_instances keypoints pred_instances.keypoints keypoint_scores pred_instances.keypoint_scores metainfo configs/_base_/datasets/coco.py visualize( img_path, keypoints, keypoint_scores, metainfometainfo, showTrue)visualize还支持visualizer传入已有可视化器实例会被 deepcopy 以避免状态污染、show_kpt_idx标注关键点序号、skeleton_stylemmpose/openpose两种骨架风格非法取值会触发断言错误、kpt_thr关键点分数阈值默认 0.3等参数适合在自有可视化流程中直接绘制任意关键点数据。源码印证一条推理链的完整闭环把两条接口对照源码可以看到它们共享同一套底层组件数据准备推理器在 Pose2DInferencer.preprocess_single 中完成“检测 - 边界框过滤bbox_thr/nms_thr- 逐框跑 pipeline”的流程若检测器未检出任何实例则回退为“整图一个边界框”与底层 APIinference_topdown不传bboxes时的行为一致。模型前向model.test_step完成推理top-down 多框结果由merge_data_samples合并对应 mmpose/structures 中的merge_data_samples。可视化与转储visualize与postprocess分别处理vis_out_dir/return_vis与pred_out_dir。测试保障test_mmpose_inferencer.py 系统性地验证了图像路径、numpy 数组、目录、视频四类输入下推理器输出的键结构与产物数量visualizations/与predictions/下的文件数以及human3d别名在视频输入下的行为底层 API 则有 test_inference.py 覆盖。小结如果你的目标是“拿到结果并保存”优先使用MMPoseInferencer别名一行构建CLI 一条命令完成参数覆盖可视化与转储如果你的目标是“把姿态估计嵌入自有管线并完全掌控中间数据自定义边界框、PoseDataSample级访问、自定义可视化器”则选择init_modelinference_topdown/inference_bottomupVISUALIZERS的底层组合。两条路线的关键实现都集中在 mmpose/apis可直接对照上文引用的文件路径逐行验证。【免费下载链接】mmposeOpenMMLab Pose Estimation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmpose创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考