GaitPart步态识别：基于部位级时序建模的CVPR 2020论文解读

1. 从“走路姿势”到身份识别步态识别为何值得深挖在计算机视觉领域人脸识别、指纹识别早已是家喻户晓的身份认证技术。然而当人脸被口罩遮挡、指纹无法获取时我们还有什么方法能在远距离、非受控环境下识别一个人答案可能就藏在每个人最自然的行走方式里——步态。步态识别这项听起来颇具科幻色彩的技术正逐渐从实验室走向安防、医疗、人机交互等现实场景。今天要聊的论文《GaitPart: Temporal Part-based Model for Gait Recognition》正是CVPR 2020上针对步态识别核心难题提出的一份精彩答卷。为什么步态识别这么难又这么有吸引力首先它的数据源通常是监控视频中的轮廓序列这本身就带来了巨大挑战视角变化、着装变化、携带物遮挡、行走速度差异……这些因素都会让同一个人的步态外观发生剧烈变化。其次与静态的人脸图像不同步态是一个动态的时序过程如何有效地建模时间维度的信息并从中提取出最具判别力的特征是算法的核心。早期的很多方法要么将多帧轮廓简单堆叠成一张图称为GEI步态能量图损失了时间细节要么使用3D卷积等复杂模型计算开销大且容易过拟合。《GaitPart》这篇论文的切入点非常巧妙它认为人体不同部位如头、躯干、腿在行走时的运动模式即“微动”是独特且稳定的这些部位的时序变化才是步态识别的关键。基于此论文提出了一个“基于时间分部位”的模型。简单来说它不是把整个人体轮廓当作一个整体来处理而是先将其划分为多个部位然后为每个部位独立地、精细化地建模其时间动态最后再融合这些信息。这种方法直击了步态识别中“全局特征对局部细微变化不敏感”的痛点。接下来的内容我将带你深入拆解GaitPart模型。我们不仅会看懂它的网络结构设计更会探讨其背后“分而治之”的哲学思考分析它相比同期模型如GaitSet、3D局部卷积网络的优势与局限并探讨这种“部位级时序建模”的思想如何影响了后续的研究。无论你是刚接触步态识别的新手还是希望深入理解时序建模技巧的研究者相信这篇解读都能带来启发。2. GaitPart模型核心思想为何要“分部位”处理时序信息要理解GaitPart首先要跳出“将步态视为整体视频”的惯性思维。论文开篇就指出了一个关键观察在行走过程中人体不同部位的运动幅度、频率和模式是不同的。例如手臂的摆动和腿部的跨步在时序上并不同步且它们各自的变化模式对于不同个体而言具有独特的鉴别性。然而传统的基于全局轮廓序列的方法无论是2D卷积还是3D卷积在卷积操作中会不可避免地混合不同部位的信息导致这些精细的、部位特有的时序模式被模糊或稀释。2.1 “微动”特征步态识别的灵魂这里引入一个核心概念——“微动”。论文强调步态识别的本质是捕捉这些细微的、周期性的肢体运动变化而不是轮廓的静态形状。一个穿着大衣的人和穿着短裤的人其整体轮廓差异巨大但他们腿部摆动的频率、手臂摆动的幅度可能依然保持着个人习惯。因此一个鲁棒的模型应该能够抵御轮廓外观外观特征的变化同时强化对运动模式运动特征的感知。GaitPart的创新就在于它明确提出并实践了“在部位级别上建模微动”的策略。具体来说模型包含两个核心模块帧级部位特征提取器对于输入序列中的每一帧轮廓图模型首先通过一个卷积神经网络CNN提取空间特征图。然后一个关键操作来了——水平池化。它将特征图在高度维度上平均划分成若干个水平条带每个条带大致对应人体的一个部位如头部、上身、大腿、小腿等。这样每一帧都被解构为一组部位特征向量。部位级时间建模器这是模型的精髓。对于上述得到的每个部位例如“左大腿”这个部位模型将其在所有时间帧上的特征向量单独拎出来形成一个独立的时序序列。然后针对这个部位的时序序列使用一个轻量级的微型时间卷积网络来进行建模。这个网络专注于学习该部位自身的运动动态。这种设计带来了几个直接好处特征解耦迫使模型分别关注不同部位的运动避免了特征混淆。参数效率为每个部位使用小型的独立TCN比用一个庞大的3D卷积网络处理整个时空立方体要轻量得多减少了过拟合风险。针对性学习模型可以自适应地学习到对于身份鉴别而言哪些部位的时序模式更重要例如腿部的运动可能比头部的微小晃动更具判别力。2.2 与主流方法的对比看清GaitPart的定位为了更清晰地理解GaitPart的贡献我们将其与当时2020年前后的几种主流范式进行对比方法类别代表模型核心思想时序建模方式GaitPart的改进点基于模板GEI, GaitSet将整个序列压缩为一个静态模板如图像或特征集。几乎无显式建模或仅通过集合池化。保留了完整的时序信息进行主动的、部位级的动态建模。基于3D卷积3D CNN, P3D将轮廓序列视为时空立方体用3D卷积核同时提取空时特征。隐式且全局的时空联合建模。将全局时空建模分解为部位独立的时序建模更精细、参数更少、更易解释。基于2D卷积时序池化一些早期CNNLSTM方法用2D CNN逐帧提取特征再用RNN/LSTM或简单池化聚合时序信息。时序建模通常在全局特征层面进行可能忽略部位特性。在特征聚合时序建模之前先进行了部位划分实现了“先分后合”的精细化处理。通过对比可以看出GaitPart找到了一条介于“过于简化”模板法和“过于复杂”3D卷积法之间的道路。它没有抛弃时序信息也没有粗暴地用大参数模型去拟合而是通过一个结构化的先验人体部位划分来引导模型学习这体现了很强的工程与理论结合的美感。注意水平划分部位是一种强先验它假设人体的关键部位是水平排列的。这在正常行走的侧视、斜视视角下是合理的但在极端俯视或严重遮挡情况下可能失效。后续的一些研究也尝试了更柔性的部位划分方式如基于注意力机制动态生成部位。3. 网络架构深度拆解从输入轮廓到输出特征理解了“为什么”我们再来深入“怎么做”。GaitPart的网络架构是一个精心设计的流水线我们将按照数据流动的顺序逐步拆解每一个组件。3.1 输入预处理与帧级特征提取模型的输入是一段步态轮廓序列通常来自一个完整的步态周期。假设序列长度为T帧每帧是64x64的二进制轮廓图。骨干网络论文选用了一个精简的CNN如类似ResNet的浅层网络作为骨干。每一帧轮廓图独立通过这个CNN输出一个三维特征张量尺寸为C x H x W通道 x 高 x 宽。例如可能是256 x 16 x 16。水平池化与部位划分这是实现“分部位”思想的关键操作。对每一帧的特征图在高度维度H上将其均匀划分为P个部分Part。例如P16就是将特征图在高度上切成16个条带。然后对每个条带内的所有空间位置W维度进行全局平均池化GAP。这样对于每一帧我们就得到了P个C维的特征向量。每个向量代表了该帧中某个人体部位的抽象外观特征。操作示意[T, C, H, W]-逐帧水平切分池化-[T, P, C]。物理意义此时数据被重新组织。你可以想象成一个表格行是时间帧T列是身体部位P每个单元格里存放着一个描述该部位在该帧状态的C维特征向量。3.2 核心创新部位级微型时间卷积网络接下来是模型最核心的部分。我们现在有了一个形状为[T, P, C]的张量。传统的思路可能是直接用一个LSTM或一维卷积在时间维度T上处理整个[T, P*C]的特征。但GaitPart反其道而行之维度转换首先将张量视为由P个独立的时序序列组成。具体操作是进行维度转换得到[P, T, C]。现在第一个维度是部位索引第二个维度是时间第三个维度是特征。独立时序建模对于每一个部位p (p1,...,P)我们取出其对应的[T, C]矩阵。这个矩阵表示该部位随时间变化的特征轨迹。然后将这个矩阵送入一个微型时间卷积网络。这个微型TCN通常由几个一维卷积层、激活函数和残差连接构成结构非常轻量。它的任务是捕捉这个特定部位的动态模式例如“左小腿”从触地到摆动的周期性变化。关键细节所有P个部位共享同一个微型TCN的参数。这是因为不同部位的时序建模本质是相似的都是捕捉时间动态共享参数极大地减少了模型参数量同时也能起到正则化的作用。模型通过同一套“时序特征提取器”来观察不同部位的运动。输出经过微型TCN处理后每个部位的[T, C]序列被编码为一个新的[T, C]序列C‘可能与C不同或者更常见的是通过时序池化如最大池化直接压缩为一个C’维的向量代表该部位的聚合时序特征。提示共享参数的微型TCN是模型高效的关键。你可以把它想象成一个通用的“运动模式分析仪”这个分析仪被依次应用到身体的各个部位上分别分析胳膊怎么动、腿怎么动而不是制造16个不同的分析仪。3.3 特征聚合与损失函数经过上述步骤我们得到了P个部位的特征向量每个C‘维。接下来需要将它们融合成一个全局的步态特征用于最后的身份识别。部位特征聚合论文采用了一种简单的连接操作将P个部位的特征向量首尾相接形成一个P*C‘维的长向量。当然也可以使用加权求和或更复杂的注意力机制但连接操作最简单有效能保留所有部位的信息。全局特征映射与损失这个长向量会通过一个全连接层映射到最终的步态特征空间。训练时使用广泛采用的三元组损失结合交叉熵损失。三元组损失迫使同一个人的步态特征锚点和正样本在特征空间中尽可能接近而不同人的锚点和负样本尽可能远离。这对于度量学习任务至关重要。交叉熵损失将步态特征分类到具体的身份ID帮助网络学习更具判别性的特征。两种损失共同作用使得学到的特征既具有类内紧凑性又具有类间可分性。至此一个完整的GaitPart前向传播过程就结束了。从轮廓序列输入到部位划分再到独立时序建模最后融合输出流程清晰每个环节都紧扣“部位级时序建模”这一核心思想。4. 实验分析GaitPart强在哪里弱在何处论文在多个主流步态识别数据集上进行了全面实验包括CASIA-B、OU-MVLP等。这些数据集包含了不同的行走条件正常、穿大衣、背包、不同视角是检验模型鲁棒性的标准考场。4.1 性能表现与对比在CASIA-B数据集上GaitPart展示了显著优势尤其是在最具挑战性的“穿大衣”和“背包”条件下其识别准确率大幅领先于之前的基准模型如GaitSet。这有力地证明了其方法的有效性通过聚焦于部位的运动微动模型能够更好地抵御服装和携带物带来的外观剧烈变化。因为大衣虽然改变了躯干的轮廓但手臂的摆动模式可能变化较小背包影响背部轮廓但腿部的运动依然保持稳定。结果分析要点在正常行走条件下GaitPart与当时最好的模型性能相当或略优说明其基础特征提取能力达标。在变化条件下优势明显这直接验证了其核心假设——部位微动特征比全局外观特征更稳定。消融实验论文通过消融实验验证了各个组件的必要性。例如去掉“部位划分”即不对特征图做水平池化直接全局处理性能下降去掉“微型TCN”改为简单的全局时序池化性能也显著下降。这证明了“分部位”和“时序建模”两者缺一不可。4.2 计算效率与模型复杂度GaitPart的另一个优点是高效。相比于庞大的3D卷积网络其模型参数量更小推理速度更快。这是因为主干网络是标准的2D CNN计算高效。核心的时序建模部分使用的是参数共享的、层数较浅的一维卷积计算代价远小于3D卷积。这种设计使得模型更容易训练也更易于部署到计算资源受限的边缘设备上。4.3 局限性与潜在问题尽管表现出色GaitPart也存在一些局限性这也是后续研究可以改进的方向部位划分的刚性水平均匀划分是一种硬划分没有考虑人体结构的实际比例变化如不同身高的人、姿态变形如弯腰或遮挡。这可能导致特征错位例如头部的特征条带可能实际包含了肩膀。时空关系建模的割裂GaitPart先进行空间上的部位划分再独立进行每个部位的时间建模。这种“先空间后时间”的串行方式可能忽略了不同部位在运动时的时空关联性。例如手臂摆动和腿部跨步之间存在一定的相位关系这种跨部位的协同运动信息在GaitPart中没有被显式建模。对预处理依赖较高模型输入是较为“干净”的轮廓序列。轮廓提取的质量背景分割的准确性会直接影响模型性能。在复杂背景、光照变化大的实际场景中这仍是一个挑战。5. 思想延伸GaitPart对后续研究的启示GaitPart的价值不仅在于它当时取得的SOTA性能更在于它提出并验证的“部位级时序建模”这一核心思想为步态识别乃至更广泛的视频理解领域提供了新的思路。5.1 在步态识别领域的影响在GaitPart之后许多研究沿着它的方向进行了深化和拓展更灵活的部位划分后续工作如GaitGL、TransGait等引入了注意力机制、图卷积网络等来实现动态的、非均匀的部位划分或者建模部位之间的关系以克服硬划分的不足。更强大的时序建模器研究者尝试用更先进的时序模型如Transformer替换简单的微型TCN以捕捉更复杂的长期依赖和多尺度时序模式。多粒度特征融合GaitPart主要关注部位级特征。后续工作开始探索融合全局特征整体轮廓形状、部位特征局部微动甚至关节级特征更细粒度的多粒度模型以形成更全面的步态表示。5.2 超越步态识别时序建模的通用启示GaitPart的“分而治之”思想具有普适性。对于任何涉及时序信号和结构化对象可分解为多个部件的任务都可以借鉴动作识别人体的复杂动作也可以分解为身体各部位的协同运动。GaitPart的思想可以迁移到更精细的人体动作分析中。行为识别在监控场景中识别人的行为如徘徊、奔跑、跌倒同样可以借鉴“先分解主体为关键区域再分别建模其动态”的思路。工业检测对于运行中的机器将其分解为关键部件如齿轮、传送带分别监测其振动、温度等参数的时序变化可能比监测整体信号更能精准定位故障。GaitPart的成功告诉我们对于复杂的动态系统有时“分解”比“整体攻克”更有效。通过引入合理的结构先验如人体部位可以将一个复杂的时空建模问题转化为多个更简单的、可并行处理的子问题从而在性能、效率和可解释性之间取得更好的平衡。回顾整篇论文GaitPart没有使用多么炫酷的新模块而是通过一个清晰、有力的核心思想结合简洁高效的网络设计解决了步态识别中的一个关键问题。它像一位技艺精湛的工匠不是盲目堆砌材料而是准确把握了问题的“纹理”然后顺着纹理下刀最终成就了一件优雅的作品。这种基于深刻洞察而非单纯规模扩张的研究思路或许比模型本身的性能数字更值得我们学习和回味。在实际项目中选择或设计模型时不妨多问一句我的数据中是否也存在这种可以“分而治之”的、内在的结构化特性