Inception+RNN视频行为识别：打架检测与模型推理实战

简介面向python打架识别任务的视频数据集与预训练模型资源包适合计算机视觉初学者、安防监控算法开发者及需要快速验证行为识别方案的研究者使用。压缩包共314个文件整体约133MB其中301个mp4视频覆盖打斗与非打斗两类场景4个npy文件存放预提取特征2个pb模型文件与data/index检查点构成可直接加载的生成模型另有ipynb和py脚本串联数据预处理、模型训练与推理环节方便读者快速上手整个流程。资源附赠已训练好的模型无需自行准备算力与标注数据即可直接调用识别也可基于自带视频集进一步微调。已有962人学习下载适合用于课堂实验、算法对比或安防项目预研是一份兼顾数据、代码与模型的紧凑型实战资源。1. 视频行为识别项目里最容易被漏掉的那份模型文件拿到这份python打架识别视频数据集时最常见的情况是压缩包里全是mp4以为只有样本翻到后面才发现有两个不带后缀的variables.data-00000-of-00001和variables.index这才是整套资源真正的价值点——它是训练过程中留下的模型权重意味着你不用从零训一个视频分类器。配合data_preprocess.ipynb做数据预处理、video_rnn_inception.ipynb复现训练管线加上fight_和noFight_开头的真实监控片段就能在一台普通笔记本上把输入一个视频输出是否打架这整条链路跑通。适合做安防监控行为识别、毕业设计演示以及想抄一套视频二分类训练流程但不想从头收集数据的开发者。2. Inception帧特征 RNN时序建模打架识别为什么要这样组合2.1 单帧CNN的局限和视频建模的拆分思路打架是一个跨多帧的动作序列不是某一帧的静态外观。单纯用CNN对关键帧分类两个问题绕不开一是拥抱、搀扶、近距离交涉这类动作在单帧上和打斗高度相似静态特征区分度不够二是模型只看到瞬间没有前后动作趋势的概念。合理的拆法是把视频理解分成两层空间层用图像分类网络抽取每一帧的表征时间层用RNN消化帧序列的先后关系。这套组合在行为识别里沉淀过很长时间现在做食堂、走廊、地铁等固定场景的打架事件检测仍然是性价比最高的方案之一不需要视频Transformer那种量级的训练数据。2.2 Inception输出维度与RNN输入形状的衔接数据预处理阶段的核心任务是把长度不定的视频变成RNN需要的固定形状张量。Inception系列的分类头之前特征向量维度是2048也就是每个frame被编码成一个(2048,)的向量。需要指定sequence_length比如固定取20帧那一个视频样本的形状就是(20, 2048)20个时间步每个时间步输入2048维空间特征。import numpy as np # 假设 video_frames 是预处理后的帧序列长度做了截断/补齐 def build_input_sequence(video_frames, sequence_length20, feat_dim2048): # 固定序列长度超过的取尾部不足的用零向量补齐 if len(video_frames) sequence_length: frames video_frames[-sequence_length:] else: pad_len sequence_length - len(video_frames) frames [np.zeros((feat_dim,), dtypenp.float32)] * pad_len video_frames return np.expand_dims(np.stack(frames), axis0) # (1, 20, 2048)sequence_length决定RNN看到的上下文窗口。我一般先取20~30帧对应约1~2秒的监控画面既保留打斗的连续动作又不会让短促推搡被长序列稀释。补零放在序列开头而不是结尾是让RNN先看到空白再进入有效内容符合时序因果方向。2.3 数据集中各文件的角色对照先把压缩包内的文件按用途分个类后面操作时不会拿错文件文件/目录类型在管线里的角色fight_fi144.mp4正样本视频包含打架动作的原始片段noFight_nofi010/nofi011/nofi014/nofi015.mp4负样本视频日常行为、争执但非肢体冲突的片段data_preprocess.ipynbJupyter脚本视频取帧、尺寸调整、归一化处理video_rnn_inception.ipynbJupyter脚本帧特征抽取、RNN训练、模型保存variables.data-00000-of-00001、variables.index权重文件训练产出的模型参数可直接加载推理负样本数量明显多于正样本这是故意的。打架场景在真实监控里是小概率事件多点看似可疑、实际没事的负样本能压制模型的误报倾向。2.4 帧提取与预处理的实测写法data_preprocess.ipynb 里做的事拆开就是三步读视频、隔帧采样、改尺寸。其中隔帧采样比逐帧提取省事得多也能天然去掉相邻帧的冗余信息。import cv2 def sample_frames(video_path, sample_every4, target_size(224, 224)): cap cv2.VideoCapture(video_path) frames [] idx 0 while True: ret, frame cap.read() if not ret: break if idx % sample_every 0: frame cv2.resize(frame, target_size) frame cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) frame frame.astype(np.float32) / 127.5 - 1.0 # 归一化到 [-1, 1] frames.append(frame) idx 1 cap.release() return framessample_every4 表示每4帧取1帧25fps的视频每秒只会拿到6帧左右。归一化用[-1,1]而不是[0,1]是因为Inception预训练权重是在这个范围内收敛的沿用这样的数值范围能让特征抽取更稳定。到这里拿到的是帧图像真正进入RNN的2048维特征是在训练脚本里由Inception前向计算出来的。3. video_rnn_inception训练脚本与checkpoint保存机制3.1 按视频整体划分数据集避免帧级泄漏处理视频分类数据集时最容易犯的错是直接把所有帧打乱再划分训练集、测试集。同一段打架视频里相近的两帧画面差异极小如果一帧在训练集、一帧在测试集验证指标会虚高到失真。正确做法是按视频文件为单位切分一个mp4要么全在训练集要么全在验证集。下面这段就是我处理监控视频时的通用写法。from sklearn.model_selection import train_test_split video_files [ (fight_fi144.mp4, 1), (noFight_nofi010.mp4, 0), (noFight_nofi011.mp4, 0), (noFight_nofi014.mp4, 0), (noFight_nofi015.mp4, 0), ] labels {name: label for name, label in video_files} names list(labels.keys()) train_names, val_names train_test_split( names, test_size0.2, stratify[labels[n] for n in names], random_state42 )stratify参数保证正负样本在训练集和验证集里的比例一致。这里样本量很小划分出来的验证集会比较薄但按文件划分这条纪律不能破否则后面调阈值时看到的指标全是假象。3.2 RNN结构与关键参数配置video_rnn_inception.ipynb 里的时序分类器标准形态是一或两层LSTM Dropout 二分类输出。视频帧特征进来后LSTM维护隐状态来记忆前文的动作节奏Dropout压过拟合最后接一个sigmoid输出打架概率。import tensorflow as tf def build_rnn_classifier(sequence_length20, feat_dim2048, hidden_units256): inputs tf.keras.Input(shape(sequence_length, feat_dim)) x tf.keras.layers.LSTM(hidden_units, return_sequencesTrue)(inputs) x tf.keras.layers.Dropout(0.5)(x) x tf.keras.layers.LSTM(hidden_units, return_sequencesFalse)(x) x tf.keras.layers.Dropout(0.5)(x) outputs tf.keras.layers.Dense(1, activationsigmoid)(x) model tf.keras.Model(inputs, outputs) return modelhidden_units256 是我在这个数据量下比较顺手的起点数据规模更小就降到128。return_sequencesTrue 让第一层LSTM把每个时间步的隐状态都传给下一层第二层只输出最后一个时间步的隐状态正好对应看完整个序列后做决定。训练时损失用binary_crossentropy优化器选Adam学习率先从1e-4起步验证loss连续两轮不降就减半。这个配置即使计算资源有限也能在CPU上完整跑通。3.3 为什么产物是variables.data-00000-of-00001和variables.index训练结束保存模型时代码里用的是tf.train.Checkpoint把自己封装的模型对象存下来落盘成了variables.data-00000-of-00001和variables.index两个文件而不是常见的单文件model.h5或saved_model.pb。区别在于checkpoint只保存权重和优化器状态不包含完整的网络结构定义。这在训练层面是好事训练中断可以从这个状态继续但拿来直接推理时必须先重建模型结构再恢复权重。model build_rnn_classifier() ckpt tf.train.Checkpoint(modelmodel) ckpt.restore(variables).expect_partial()restore(variables) 读的是与variables.data同前缀的文件。expect_partial()用来忽略可能存在的优化器变量不匹配提示因为推理时并不需要优化器状态。如果保存时用的是model.save_weights(...)生成的weights.h5就改成model.load_weights(weights.h5)判断依据就是看落盘文件是不是这组variables开头。很多新手在这个环节报找不到变量多半是模型结构里层名和checkpoint里不一致。3.4 训练物件的保存路径规划建议把脚本、checkpoint和视频分目录放路径存放内容./data/videos/原始mp4样本./data/features/预处理后的npy特征序列./checkpoints/variables开头的权重文件./logs/TensorBoard训练日志我在实际项目里还有一条经验把每个epoch的模型都按checkpoint留一份而不要只保留最终版。视频数据训练很容易在某个epoch开始过拟合回退到中间checkpoint往往比最终版的泛化更好。4. 加载本地模型variables文件做推理验证的完整流程4.1 推理前必须知道的两件事拿到别人给的variables文件时先别急着跑预测。确认两件事一是这个checkpoint对应的模型结构是不是video_rnn_inception.ipynb里定义的那个不一致的话恢复权重时会报shape mismatch二是推理输入的预处理必须和训练时完全一致包括帧尺寸、采样间隔、归一化范围。这两点对不上后续无论怎么调参都是无效的。4.2 完整推理代码下面这段可以用作在线检测的参考实现输入一个视频文件的路径输出打架概率import cv2 import numpy as np import tensorflow as tf def infer_video(video_path, rnn_model, encoder, sequence_length20, sample_every4): frames sample_frames(video_path, sample_everysample_every) if len(frames) 2: return 0.0 # 用训练时同款Inception编码器把帧转成2048维特征 features np.array([encoder(f[np.newaxis, ...]).numpy().reshape(-1) for f in frames]) seq build_input_sequence(list(features), sequence_lengthsequence_length) prob rnn_model.predict(seq, verbose0)[0][0] return float(prob) prob infer_video(F_9_1_2_0_0.mp4, rnn_model, encoder) print(ffight probability: {prob:.4f})encoder是独立加载的Inception特征提取器通常由tf.keras.applications里的InceptionV3去掉分类头得到训练和推理必须共用同一个实例。rnn_model.predict返回二维数组[0][0]取第一个样本的打斗类概率。打印时保留4位小数就够了不需要把原始浮点打满屏。4.3 类别判定阈值怎么设sigmoid输出打架概率后默认阈值是0.5但监控场景我几乎不用0.5。原因在于误报的代价不对等把人正常聊天报成打架保安跑过去一趟成本很高把真打斗漏掉后果更严重。所以在离线评估时先画出全阈值下的精确率和召回率再挑满足场景约束的切分点。我处理这类数据集的做法是先看阈值0.3、0.4、0.5三档验证集F1再去现场录制几段背景噪声视频来确认每小时的误报次数。提示别用测试集去调阈值。先用验证集选出候选阈值最后只在测试集上报告一次结果这是防止过拟合验证流程的基本纪律。4.4 输出与状态监控批量验证时记录每个视频的预测概率、判定结果和耗时。一旦发现某个正常行为连续被报为打架最直接的手段是提高报警阈值或者检查该场景是否在训练负样本里出现过。监控样本覆盖不足造成的误报单纯调阈值压不下去只能回到数据侧补充负样本重新微调。5. 把训练集外视频接入现有模型数据扩展与误判处理技巧5.1 新视频的组织与序列长度对齐新收集的视频分辨率、帧率各不相同需要按训练时的sample_every、target_size统一处理。做这一步时我习惯把新视频特征存成npy避免每次推理都重新跑Inceptiondef cache_features(video_path, save_path, encoder): frames sample_frames(video_path) feats [] for frame in frames: feat encoder(frame[np.newaxis, ...]).numpy().reshape(-1) feats.append(feat) np.save(save_path, np.vstack(feats))padding策略和训练时保持一致序列不足sequence_length时在头部补零。保存npy后后续的RNN推理速度会快一个量级因为省掉了重复的CNN前向计算。5.2 容易误判的几个典型case从这套数据集的正负样本来看误判高发在三种内容上两个人快速挥手或推搡但未真正产生肢体冲突镜头晃动剧烈导致背景光流异常以及多人聚集时画面频繁遮挡。处理方法是把这类case收集起来加进负样本列表做增量训练。我实际项目里试过只靠调阈值去压这些误报结果是把真正的打斗召回率一起压下去了最后还得回到数据侧。5.3 滑动窗口软投票让判定结果更稳定最后分享一个让输出更可靠的具体技巧也是我自己在复现这套模型时会额外加的一步。单片段推理结果抖动很大上一秒概率0.6下一秒0.2非常影响实际使用。把视频切成重叠窗口每个窗口独立推理再对结果做时间域的软投票效果比直接提高阈值好得多。def sliding_inference(features, rnn_model, window_size20, stride10): probs [] for start in range(0, len(features) - window_size 1, stride): window features[start:start window_size] seq window.reshape(1, window_size, -1) probs.append(rnn_model.predict(seq, verbose0)[0][0]) return float(np.mean(probs)), float(np.max(probs)) mean_prob, max_prob sliding_inference(features, rnn_model) print(mean{:.3f} max{:.3f}.format(mean_prob, max_prob))stride小于window_size时窗口之间会有重叠让相邻窗口的判定相互制约。我用mean作为最终置信度用max作为报警候选值mean稳定但对短暂推搡不敏感max灵敏但容易响应单帧异常两者都超过阈值才报警时误报率最低。这种重叠窗口软投票的处理方式是视频行为识别里性价比最高的工程化手段。本文还有配套的精品资源点击获取