深度学习时序预测实战：车流量预测从LSTM到时空图模型

简介本资源为一篇关于基于深度学习的车流量预测方法研究的PDF论文适合正在开展智能交通、数据分析及深度学习相关课题的学生和研究人员参考。文中提出结合自动编码器与LSTM递归神经网络的混合预测模型并针对北京市朝阳区路口交通数据进行实验验证能够帮助读者理解特征表示学习、时间序列建模及模型调参思路。资源包共1个PDF文件大小约1.44MB内容完整包含方法原理、实验设计、结果分析与未来应用方向。已有280人学习阅读适合作为相关方向的参考文献和专业指导资料。1. 车流量预测为什么传统时序模型在这里集体失灵如果你接过城市路网管理、信号配时优化或网约车调度这类需求迟早会撞上一个问题某个路口下周早高峰的车流量大概是多少这类问题听着比图像识别简单——不就是一条时间序列吗但真正把历史数据拉出来做一轮预测就会意识到车流量序列既不平稳、又带极强的周期性还叠加了节假日和突发事件的扰动。传统机器学习模型需要手工构造滞后特征对突发模式几乎无感ARIMA这类统计模型在长时预测上又持续衰减。所以“基于深度学习的车流量预测”成了近几年的主流解法它直接从数据里学周期和趋势用序列模型拟合时间依赖用图结构建模路网空间关联。这篇文章把我做这类预测的完整路径写出来从数据处理到模型选型再到训练参数和五个高频踩坑点方便你照着搭一套能出效果的车流量预测流程。2. 把流量计数变成深度学习样本数据清洗与滑窗设计车流量预测这个题目看似是模型问题实际刷掉大多数人的是第一公里——数据形态和样本构造。我见过不少人上来就调网络结构结果训练集里带着空洞和异常尖峰模型怎么调都出不了效果。这一章先把数据讲透。2.1 先看清你的数据形态断面计数、路网速度还是卡口过车车流量数据通常有三种来源处理方式完全不同。第一种是断面线圈或雷达计数输出是“每5分钟通过多少辆车”粒度固定、噪声大是车流量预测最典型的数据第二种是浮动车 GPS 轨迹聚合出的路段速度或行程时间它不是直接流量但能反映拥堵状态常作为辅助特征第三种是卡口过车记录按车牌识别流水还能算出 OD 和旅行时间数据最丰富但清洗工作量最大。我一般建议先拿到数据后做三步按时间戳对齐、统一到相同聚合粒度、检查覆盖率。import pandas as pd # 原始数据常见字段time, road_id, lane_no, vehicle_count df pd.read_csv(flow_raw.csv, parse_dates[time]) df[time] df[time].dt.floor(5min) # 对齐到5分钟 df df.groupby([road_id, time])[vehicle_count].sum().reset_index() # 检查每个路口的缺失率 coverage ( df.groupby(road_id)[vehicle_count] .count() .div(288) # 一天288个5分钟点 .sort_values() ) print(coverage[coverage 0.9]) # 缺失超过10%的断面要处理逻辑说明floor(5min)是将时间舍入到最近的5分钟整点避免 10:03 和 10:07 这类抖动时间戳被当成两个采样点groupby后同一个时间窗里多车道数据被合并成断面流量。覆盖率计算里除以 288因为车流量预测的常规粒度就是5分钟一天固定288个点低于90%覆盖率的路口要么补全要么直接剔除。参数说明聚合粒度不一定非得选5分钟。如果数据是1分钟或10分钟计数可以先对读入的频率做直方图确认主流粒度粒度越细则序列波动越大模型越难学粒度太粗又会丢掉高峰的突起形态。我的经验是5分钟粒度兼顾细节和稳定性若要压缩数据量可以升到15分钟。2.2 滑窗长度与特征拼接怎么定深度学习方法处理车流量预测本质是把时序预测改造成监督学习用过去in_steps个时间步的流量预测未来out_steps个时间步的流量。这个窗口怎么切直接决定模型看到什么。import numpy as np def make_samples(df, road_id, in_steps24, out_steps12, feat_cols[flow]): sub df[df[road_id] road_id].sort_values(time) values sub[feat_cols].values xs, ys [], [] for i in range(len(values) - in_steps - out_steps 1): x values[i : i in_steps] y values[i in_steps : i in_steps out_steps, 0] # 预测流量列 xs.append(x) ys.append(y) return np.array(xs, dtypenp.float32), np.array(ys, dtypenp.float32)逻辑说明滑动窗口每移动一步生成一个样本x的形状是(in_steps, feat_cols)y的形状是(out_steps,)。这里feat_cols可以先只放流量后续再把速度、占用率、天气温度、节假日标志拼接进去。参数说明in_steps24表示看过去2个小时5分钟粒度out_steps12表示预测未来1小时。这是我自己常用的起点配置因为城市交通信号控制通常需要未来30到60分钟的流量估计。如果预测目标是第二天早高峰窗口要扩大到 288以上但在预测精度上基本都会明显下降这是所有序列模型的通病。2.3 清洗与标准化缺失、过零与异常尖峰的预处理车流量序列里常出现三种脏数据线圈故障导致的连续零值、施工或事故导致的尖峰、以及设备重启带来的重复值。直接喂给模型会让 loss 被尖峰主导训练过程剧烈震荡。def clean_flow(series, spike_thresh500): s series.copy() # 1. 连续零值超过30分钟6个点视为设备故障用前向填充 zero_run (s 0).astype(int).groupby((s ! 0).cumsum()).cumsum() s[zero_run 6] np.nan s s.ffill().bfill() # 2. 尖峰截断超过阈值且和前后点差距太大用中位数替代 diff s.diff().abs() spike_mask (s spike_thresh) (diff spike_thresh * 0.5) s[spike_mask] np.nan s s.fillna(s.rolling(5, centerTrue, min_periods1).median()) return s逻辑说明连续零值超过6个点30分钟在正常交通里几乎不可能通常是设备掉线直接删除会在时间轴上留洞前向填充对流量这种缓变序列最稳妥。尖峰处理用两级判断绝对阈值加相邻差阈值只有两者同时满足才判定为异常避免把节假日真实大流量误杀。参数说明spike_thresh500是按单断面5分钟500辆来估的一条城市快速路单向三车道5分钟理论极限在150辆左右地磁线圈数据可以把阈值降到200。这个参数没有通用值建议先用describe()看P99分位数再用P99的1.5倍做初始阈值。标准化放在清洗之后推荐对每个断面单独做 Z-score不要把不同量级的路口混在一起算均值和方差。3. 模型选型LSTM打底时空图模型进阶的取舍数据处理完就到核心问题选什么模型。车流量预测领域的模型演进很快从 RNN、LSTM 到 Transformer再到 GCN 与序列模型组合的时空网络。但切换模型前先想清楚一个事你的数据是单断面还是多断面全网。单断面用 LSTM 已经能打 80 分多断面要建模空间依赖才上 GCN。3.1 为什么先拿 LSTM 做基线LSTM 是车流量预测最稳的基线。它的门控机制能同时抓住早晚高峰的周期性也能在输入里容纳速度、天气这些辅助特征。相比 GRU 它参数多但容量大相比 Transformer 它不需要海量数据几百个断面的数据量就能训得动。import torch import torch.nn as nn class FlowLSTM(nn.Module): def __init__(self, feat_dim, hidden_dim64, num_layers2, out_steps12): super().__init__() self.lstm nn.LSTM( input_sizefeat_dim, hidden_sizehidden_dim, num_layersnum_layers, batch_firstTrue, ) self.head nn.Linear(hidden_dim, out_steps) def forward(self, x): out, _ self.lstm(x) # out: (batch, seq_len, hidden_dim) last out[:, -1, :] # 取最后一个时间步的隐状态 return self.head(last) # (batch, out_steps)逻辑说明LSTM 的隐藏状态在最后一个时间步浓缩了整个输入窗口的信息所以常见的做法是取out[:, -1, :]再接一个线性层直接输出多步预测。这个结构与“编码器-解码器”相比少了显式的解码过程牺牲一点长时精度换来训练稳定和收敛快适合作为第一版基线。参数说明hidden_dim64在单断面流量这类低维度数据上已经足够提高空间在128左右。num_layers2可以捕获更高层的时序抽象但层数超过3层收益很小梯度却更容易消失我一般最多堆两层。3.2 把路网结构喂给网络邻接矩阵与图卷积单断面模型只看了自己过去的值没利用上下游站点的信息。城市快速路上上游拥堵必然传导到下游如果数据是多断面的就可以把道路拓扑结构编码成图在时间建模之外再加一层空间卷积。GCNLSTM 是这类时空预测最常见的组合框架结构上用 GCN 聚合邻居断面当前时刻的流量再把聚合后的序列交给 LSTM。import torch import torch.nn.functional as F class GraphConvLayer(nn.Module): def __init__(self, in_dim, out_dim, adj): super().__init__() # adj 已做对称归一化D^-0.5 * A * D^-0.5 self.register_buffer(adj, adj) self.fc nn.Linear(in_dim, out_dim) def forward(self, x): # x: (batch, seq_len, num_nodes, feat_dim) b, t, n, f x.shape x x.reshape(b * t, n, f) x torch.einsum(ij,bjf-bif, self.adj, x) # 图聚合 x self.fc(x) return x.reshape(b, t, n, -1)逻辑说明einsum(ij,bjf-bif, adj, x)里的adj[i, j]表示节点 j 对节点 i 的贡献权重一次矩阵乘法就完成了所有节点对邻居特征的加权求和。register_buffer把邻接矩阵注册进模块这样.to(device)时它会自动跟着迁移到 GPU不需要手动搬运。最终形状还原成(batch, seq_len, num_nodes, -1)方便后续接 LSTM 时把seq_len当作时间维度。参数说明邻接矩阵的构建是这道工序里最影响效果的一步。常见做法是两种一是按拓扑连接相邻路段设为1二是按距离阈值的高斯核A[i,j] exp(-d_ij^2 / sigma^2)。我实测下来数据稀疏时用拓扑连接更稳数据充足时高斯核能学到更平滑的空间相关性。adj一定要做归一化否则度数大的节点聚合后数值膨胀训练直接发散对称归一化公式D^-0.5 * A * D^-0.5是最通用的做法。另外邻接矩阵只与断面ID对应必须保证和训练数据的断面顺序一致这个错位问题很隐蔽排查时优先检查。整体使用时把多断面数据整理成(batch, seq_len, num_nodes, feat_dim)先过两层图卷积做空间信息融合再把节点维度合并为特征维度交给 LSTM。这样输出的预测就是(batch, num_nodes, out_steps)一次性得到全网所有断面未来1小时内每个5分钟点的流量。3.3 为什么没过早用 Transformer 或 CNN很多新来的同事看到热点论文会直接上 Transformer我一般会按下这个冲动。Transformer 的 self-attention 确实能建模长距离依赖但它需要的数据量和调参成本都比 LSTM 高一个量级。城市路网通常只有几十到几百个断面数据量在数十万到百万样本量级Transformer 在这种体量下很容易欠拟合训练损失降到一定程度就下不去。CNN如 TCN用空洞因果卷积做序列建模速度比 LSTM 快但其感受野需要靠层数堆出来如果只预测未来12步TCN 的并行计算优势体现不出来反而核大小和膨胀率的组合要找很久。我的选型排序很固定单断面先 LSTM多断面先 GCNLSTM数据和算力都充裕时才考虑 Transformer 变体。4. 训练与调参损失函数、评估指标与学习率的实际设置模型结构定了接下来是训练环节。这一章是调参的集中区也是最多人凭感觉乱试的地方。车流量预测的训练配置其实和其他时序任务差异不小细节都在输出结构和损失计算上。4.1 损失函数与评估指标怎么搭配车流量预测的默认损失是 MSE均方误差因为它是光滑的、可导的对梯度下降最友好。但 MSE 对大误差的惩罚是平方级的夜间流量只有个位数早高峰跑到上千MSE 会把绝大部分梯度贡献给高峰时段导致夜间预测整体偏低。我一般用 Smooth L1 LossHuber Loss做损失它有折中效果误差小时行为接近 MSE误差大时梯度被限制住不容易被离群点带偏。评估指标则对应 MAE 和 RMSE 一起看。MAE 反映平均偏差水平RMSE 放大峰值误差两者差距大说明预测在某些时段严重失灵。criterion nn.SmoothL1Loss(beta1.0) # 训练时用 Huber评估时分别计算 MAE 和 RMSE mae F.l1_loss(pred, target) rmse torch.sqrt(F.mse_loss(pred, target))逻辑说明beta1.0是误差阈值门限误差绝对值小于 beta 时按平方项计算大于 beta 时按线性项计算。这个值可以根据标签标准化后的量级调整——如果做了 Z-score标签方差为1beta 取1.0 就合适如果是原始计数beta 要放到流量均值附近比如100。4.2 学习率、批次与早停一组不玄学的起点参数学习率是训练里最敏感的旋钮。车流量预测的标签经过 Z-score 标准化后输出范围在 [-3, 3] 左右Adam 优化器下lr1e-3通常能正常收敛。如果发现 loss 曲线像心电图一样上下跳先降学习率到 3e-4而不是调网络宽度——这是最省时间的排查顺序。参数建议起点调整方向optimizerAdamAdamW 在 LSTM 上也可用weight_decay 设 1e-5learning rate1e-3loss 震荡则降为 3e-4收敛慢则升到 3e-3batch size64数据量大可以用 128但 LSTM 对 batch 变化敏感改动后要重调 lrhidden dim64欠拟合时翻倍到 128不要直接上 256num layers2数据极少用1层防止过拟合early stoppingpatience10验证集 loss 连续10轮不降就停保存最优权重训练循环里有两个常被忽视的设置梯度裁剪和验证集早停。LSTM 在长序列上容易出现梯度爆炸clip_grad_norm_保证梯度范数不超过阈值早停则是防止模型记住训练集里的噪声。model FlowLSTM(feat_dimfeat_dim) optimizer torch.optim.Adam(model.parameters(), lr1e-3) scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, factor0.5, patience5 ) best_loss float(inf) for epoch in range(200): model.train() for xb, yb in train_loader: pred model(xb) loss criterion(pred, yb) optimizer.zero_grad() loss.backward() nn.utils.clip_grad_norm_(model.parameters(), 5.0) optimizer.step() val_loss evaluate(model, val_loader) scheduler.step(val_loss) if val_loss best_loss: best_loss val_loss torch.save(model.state_dict(), best_flow_lstm.pt)逻辑说明ReduceLROnPlateau监测验证集 loss连续5轮不下降就把学习率乘0.5比固定步长衰减更适配车流量数据里的平台期clip_grad_norm_的阈值5.0 是经验值也可以看训练日志里梯度范数分布来定。保存best_flow_lstm.pt的时机是验证集最优而非最后一轮避免早停后加载过拟合权重。4.3 多步预测的两种主流输出结构FlowLSTM里线性头直接输出12个值这是多步预测里的“直接预测”结构。另一种做法是“递归预测”模型只输出下一步然后把输出拼回输入再预测下下步循环12次。直接预测训练简单、推理快但12个输出共享一个隐状态步与步之间没有显式约束递归预测在训练时如果用的是真实值做输入teacher forcing而推理时用预测值就会出现训练推理不一致误差累积后被放大。我前几次做车流量预测就吃过这个亏后来统一采用直接预测结构细节放到最后一章展开。5. 避坑与排查数据泄漏、节假日漂移与指标虚高的五个现实问题车流量预测的坑大部分不在模型本身而在数据处理和评估方式上。以下五条每条都是我在实际项目里踩过、并带着同事一起排查过的。5.1 特征泄漏测试集被悄悄“看过”的三种情况现象验证集上 MAE 漂亮得像造假但模型部署到第二周就跑出离谱误差。原因最常见的是三处泄漏。第一构造滑窗前没有按时间排序随机打乱后训练集里混进了未来数据第二对全量数据做标准化时测试集的均值和方差已经参与了训练样本的缩放第三特征里包含了“目标值”的滞后副本比如同时用了flow_shift_1和目标flow模型实际在抄袭上一时刻的真实值。解决标准化必须拆成fit(train)和transform(train/val/test)两步测试集只可用训练集的统计量滑窗生成样本后按时间戳将前80%划分为训练、后20%为验证绝对禁止随机切分检查特征列表去掉与目标列同源的平移特征。这个检查听起来低级但团队里发生过不止一次排查时要先怀疑自己。5.2 夜间低流量场景预测出负值现象夜间0点到5点的预测结果出现负的车流量比如 -12 辆/5分钟。原因流量序列经过 Z-score 标准化后夜间值落在 -2 以下线性输出层没有限制负值直接通过。归一化本身不是问题问题在于模型把夜间小流量学成了负偏置。解决在输出层后加ReLU()强制非负或者在逆标准化后做np.clip(pred, 0, None)推荐两种都做。ReLU 在输出层对梯度传播有影响如果发现白天高峰值也被压住可以改用Softplus它平滑且保留少许负值空间。5.3 节假日与异常事件导致的数据漂移现象平时验证集上的 MAE 只有 30元旦假期那几天误差直接翻到 120模型像是突然失去了预测能力。原因模型学到的周期里以“周”为单位周一曲线和平日重复了几十轮后已经固化。节假日打破了周模式道路流量形态完全变样模型没有应对这类分布的额外信息。解决在特征里加入节假日标志位并保留“去年同一节假日”或“上周同一天”的流量作为参考输入。如果节假日样本太少一年只有十几天不要指望模型自己学会直接把节假日样本单独训练一个微调版本线上运行时用日期判断走哪个分支。5.4 多步递归预测的误差累积导致预测值平推现象预测未来1小时前15分钟还挺准越往后曲线越平最后几条预测线挤成一团几乎看不出高峰形态。原因递归预测把上一部的输出当下一步输入而预测值本身带有误差误差作为输入被放大会导致序列往均值方向收缩。这是所有自回归模型的通病不是你的网络结构写错了。解决切换到直接预测结构。12 步输出由线性头一次产生每步之间虽然放弃了显式依赖但训练时每步都和真实值对齐避开了误差累积。若在意步间连续性可以在损失里加一个相邻步的平滑约束项用loss_2 MSE(pred[:, 1:], pred[:, :-1])拉近相邻预测步的差距。5.5 指标虚高整体MAE掩盖了高峰时段的失灵现象模型报告整体 MAE 25看起来能交付但画分时段误差曲线时早高峰7点到9点的 MAE 高达 80而夜间只有5平均下来数字被稀释了。原因全天流量分布不均夜间样本多、误差小整体 MAE 天然偏向夜间。车流量预测的最终使用场景是信号控制和拥堵预警对齐精度至关重要被平均后的指标不能代表真实效果。解决指标按小时分桶统计重点报告 7~9 点和 17~19 点的分桶 MAE看高峰时段的预测曲线与真实曲线是否相位对齐很多模型的误差不是幅值问题而是滞后一个采样点的问题。峰值滞后在信号控制里意味着放行方案慢了5分钟实际效果比均方误差大得多。6. 进阶验证多步预测策略与上线前的回放测试模型训好后真正决定能否落地的是验证策略。我现在的习惯是任何模型上线前都先做一次过去一个月的滚动回放测试模拟真实的每日预测流程。拿第1天的数据预测第2天拿第2天预测第3天逐日向前滚动把每天的预测拼成一条完整的预测序列再和真实流量对比。这样既避开了训练集里时间泄漏的嫌疑也逼真模拟了线上每日更新的节奏。多步预测策略上直接预测通常是我的首选它没有误差累积、训练稳定。如果项目要求预测未来2小时以上的长时段再考虑序列到序列结构class Seq2SeqLSTM(nn.Module): def __init__(self, feat_dim, hidden_dim, out_steps): super().__init__() self.encoder nn.LSTM(feat_dim, hidden_dim, batch_firstTrue) self.decoder nn.LSTM(1, hidden_dim, batch_firstTrue) self.fc nn.Linear(hidden_dim, 1) def forward(self, x, y_in): _, (h, c) self.encoder(x) dec_out, _ self.decoder(y_in, (h, c)) return self.fc(dec_out)这种结构在解码阶段逐帧生成预测比单层线性头多了一步自回归适合长时预测但要更精细地做学习率调整。代码里的y_in是解码器的输入序列注意推理时需要把上一帧输出接到下一帧输入。收尾处分享一个我固定的习惯在所有深度学习模型旁边永远保留一个“上周同期流量”的朴素基线。深度模型如果连上周同期的简单平移都比不过那问题一定在数据处理或者模型选型而不是调参不够。这个对比习惯帮我避免过至少三次自我感动式的调参玄学也帮我在对外汇报时用最直白的方式说明深度模型到底带来了多少增量。车流量预测的难点在于把数据当成大时间尺度的系统去理解而不是套一个网络就完事。你做的时候盯紧数据泄漏、多步误差、时段分布这几个点大部分坑都可以提前拦住。希望帮到你。本文还有配套的精品资源点击获取