时间序列处理理论体系

时间序列处理是研究按时间顺序排列的观测数据序列的数学理论与方法的学科广泛应用于金融、气象、信号处理、工业监控、生物医学等领域。以下从基础概念到前沿方法系统梳理该领域的理论体系。基础概念与数学表征时间序列的定义与分类时间序列是将随机变量按时间索引排列形成的随机序列 {X_t, t ∈ T}其核心理论基础是随机过程理论。连续时间序列T 为连续区间如传感器连续采样的模拟信号。离散时间序列T 为整数集如每日股票收盘价、月度经济指标。单变量 vs 多变量单变量序列仅含一个观测维度多变量序列向量时间序列同时记录多个相关变量需建模变量间的动态耦合关系。基本统计特性均值函数μ(t) E[X_t]描述序列的中心趋势。方差函数σ²(t) Var(X_t)描述序列的波动幅度。自协方差函数γ(t₁, t₂) Cov(X_{t₁}, X_{t₂})刻画不同时刻观测值之间的线性相关程度。自相关函数ACFρ(k) γ(k)/γ(0)归一化后的自协方差是识别模型阶数的核心工具。偏自相关函数PACF剔除中间变量影响后两个时刻观测值之间的直接相关性用于判定 AR 模型阶数。平稳性理论平稳性是时间序列建模的基本假设严平稳序列的联合概率分布不随时间平移而改变。宽平稳弱平稳均值恒定、方差有限且自协方差仅依赖于时间间隔 k 而非绝对时刻。差分平稳对非平稳序列进行 d 阶差分后变为平稳序列是 ARIMA 模型的理论前提。趋势平稳序列围绕确定性趋势波动去除趋势后残差平稳。单位根检验ADF 检验、PP 检验、KPSS 检验等用于判断序列是否含有单位根即是否为差分平稳过程。经典统计模型体系ARMA 族模型ARMA 族模型是时间序列分析的基石由 Box-Jenkins 方法论系统化自回归模型 AR§当前值表示为过去 p 个值的线性组合加上白噪声X_t φ₁X_{t-1} … φ_pX_{t-p} ε_t。其平稳性要求特征方程的根全部落在单位圆外。移动平均模型 MA(q)当前值表示为当前及过去 q 个白噪声的线性组合X_t ε_t θ₁ε_{t-1} … θ_qε_{t-q}。其可逆性要求特征方程的根全部落在单位圆外。ARMA(p,q)AR 与 MA 的组合兼具两者特性。ARIMA(p,d,q)对非平稳序列先进行 d 阶差分使其平稳再拟合 ARMA 模型是处理单变量非平稳序列的标准方法。SARIMA(p,d,q)(P,D,Q)_s引入季节性差分和非季节性差分专门处理具有周期性模式的序列如月度销售数据、气象数据。条件异方差模型族针对金融时间序列中普遍存在的波动率聚集现象大波动后跟随大波动小波动后跟随小波动ARCH(q)条件方差表示为过去 q 个残差平方的线性组合。GARCH(1,1)条件方差同时依赖于过去的残差平方和过去的条件方差是金融建模的标准工具。EGARCH指数 GARCH能够捕捉杠杆效应负面冲击对波动率的影响大于同等幅度的正面冲击。GJR-GARCH通过引入指示函数区分正负冲击的不对称效应。TGARCH、APARCH更一般的非对称 GARCH 族模型。多元 GARCHBEKK、DCC建模多个时间序列之间的动态协方差结构用于投资组合风险分析。状态空间模型与卡尔曼滤波状态空间模型将观测序列表示为不可观测的状态变量的函数状态方程α_t Tα_{t-1} Rη_t描述隐含状态的动态演化。观测方程y_t Zα_t ε_t描述观测值与状态之间的关系。卡尔曼滤波在状态空间框架下通过递推计算状态的最优线性无偏估计广泛应用于信号跟踪、导航制导、经济预测。卡尔曼平滑利用全部观测数据对状态进行回溯估计精度优于滤波。结构时间序列模型将趋势、季节、周期等成分分别建模为状态变量通过状态空间框架统一处理。频域与信号处理理论谱分析方法将时间序列从时域转换到频域分析其频率结构功率谱密度PSD自协方差函数的傅里叶变换描述序列能量在不同频率上的分布。周期图功率谱的经验估计用于识别序列中的主导频率成分。平滑周期图通过窗函数平滑降低估计方差。多窗谱估计Thomson 方法使用多个正交窗函数提高谱估计的分辨率和稳定性。时频分析方法适用于非平稳序列同时刻画时间和频率的局部特征短时傅里叶变换STFT通过滑动窗函数实现时频局部化但受限于海森堡不确定性原理。连续/离散小波变换使用可伸缩平移的小波基函数实现多分辨率时频分析。Hilbert-Huang 变换HHT通过经验模态分解EMD将序列分解为固有模态函数IMF再进行 Hilbert 变换获取瞬时频率特别适合非线性非平稳信号。数字滤波理论FIR 滤波器有限脉冲响应保证线性相位通过窗函数法或等波纹法设计。IIR 滤波器无限脉冲响应效率高但相位非线性通过双线性变换从模拟滤波器设计。自适应滤波LMS最小均方、RLS递推最小二乘算法系数随输入信号自适应调整用于噪声消除和系统辨识。时间序列的分解与预处理经典分解方法将时间序列拆解为若干可解释的成分加法分解Y_t T_t S_t R_t趋势 季节 残差适用于季节波动幅度恒定的序列。乘法分解Y_t T_t × S_t × R_t适用于季节波动幅度随趋势增长的序列。STL 分解基于 LOESS 的鲁棒分解方法能处理任意类型的季节性且季节成分可随时间变化。X-13ARIMA-SEATS美国人口普查局开发的标准季节调整方法结合 ARIMA 建模和季节调整。缺失值与异常值处理插值方法线性插值、样条插值、KNN 插值。异常值检测基于 Z-score、IQR 规则、孤立森林、LOF局部异常因子等。鲁棒估计使用 Huber 损失、分位数回归等降低异常值对模型的影响。特征工程统计特征均值、方差、偏度、峰度、自相关系数、近似熵、样本熵。时域特征过零率、峰值数量、脉冲因子、裕度因子。频域特征频谱质心、频谱带宽、频谱滚降点。非线性特征关联维数、Lyapunov 指数、递归量化分析RQA。机器学习方法传统机器学习模型支持向量回归SVR利用核函数映射到高维空间进行非线性回归对异常值有一定鲁棒性。随机森林与梯度提升树通过构造滞后特征将时间序列问题转化为监督学习问题XGBoost、LightGBM 在时序预测竞赛中表现优异。KNN 回归基于历史相似模式进行预测简单直观但计算量大。高斯过程回归提供预测的置信区间适合小样本场景。集成学习方法Stacking组合多个基模型的预测结果通过元学习器融合。Temporal Fusion Transformer 中的集成策略结合变量选择网络和门控机制实现自适应集成。深度学习方法循环神经网络族利用循环结构天然适配序列数据的时序依赖基础 RNN隐藏状态 h_t f(W_hh · h_{t-1} W_xh · x_t b)但存在梯度消失/爆炸问题。LSTM长短期记忆网络引入遗忘门、输入门、输出门三个门控机制和细胞状态有效解决长程依赖问题。GRU门控循环单元LSTM 的简化版本将遗忘门和输入门合并为更新门参数更少但性能相当。双向 RNN/LSTM/GRU同时利用过去和未来信息适合离线分析任务。深层循环网络Stacked LSTM、多层 GRU逐层提取更高阶的时序特征。卷积神经网络方法将一维卷积应用于时间序列捕捉局部时序模式TCN时间卷积网络使用因果卷积保证不看到未来信息和膨胀卷积指数扩大感受野配合残差连接训练速度远快于 RNN。WaveNetDeepMind 提出的膨胀因果卷积架构最初用于语音生成后广泛应用于时序预测。InceptionTime借鉴 Inception 模块的多尺度卷积思想在 UCR 时间序列分类基准上达到顶尖水平。Transformer 与注意力机制方法利用自注意力机制建模全局时序依赖突破 RNN 的顺序计算瓶颈标准 Transformer将时间序列视为 Patch 序列通过多头自注意力捕捉任意时刻之间的依赖关系。Temporal Fusion TransformerTFT专为多变量时序预测设计集成变量选择网络、门控残差网络、时间融合注意力同时提供预测值和可解释性。Informer引入 ProbSparse 自注意力机制将注意力计算复杂度从 O(L²) 降至 O(L·logL)专门针对长序列预测优化。Autoformer基于自相关机制Auto-Correlation替代标准注意力利用频域信息加速长序列依赖建模。PatchTST将时间序列切分为 Patch利用通道独立性策略和掩码预训练在长期预测任务上表现卓越。iTransformer对变量维度而非时间维度应用注意力更好地捕捉多变量间的相关性。TimesNet将一维时间序列转换为二维张量利用 2D 卷积同时建模周期内和周期间的变化模式。生成模型方法TimeGAN结合自监督损失和对抗训练学习真实时间序列的潜在动态生成高保真合成时序数据。时间序列扩散模型如 CSDIConditional Score-based Diffusion Models将扩散模型应用于时序插补和概率预测。VAE 变体如 VRNNVariational Recurrent Neural Network将 VAE 的随机性与 RNN 的时序建模结合。图神经网络方法适用于具有空间拓扑结构的多变量时间序列如交通网络、传感器网络DCRNN结合扩散卷积和 GRU建模交通网络的时空依赖。STGCN时空图卷积网络交替使用图卷积和标准卷积提取时空特征。Graph WaveNet自适应邻接矩阵学习 图卷积 膨胀因果卷积。概率预测与不确定性量化现代时间序列分析不仅关注点预测更强调概率预测分位数回归直接估计条件分位数提供预测区间。深度 AR 模型DeepAR自回归 RNN 框架输出参数化的条件概率分布如高斯、负二项分布。共形预测基于分布无关的有限样本保证为任意预测模型提供有效的预测区间。蒙特卡洛 Dropout利用 Dropout 的随机性近似贝叶斯推断获取预测不确定性。因果推断与结构发现从观测时间序列中发现变量间的因果关系Granger 因果检验如果变量 X 的过去值能显著改善对变量 Y 的预测则称 X “Granger 导致” Y。PC 算法 / FCI 算法基于条件独立性检验发现因果图结构。PCMCI结合 PC 算法和 MCI条件互信息检验专门针对高维时间序列的因果发现。神经因果发现利用神经网络参数化因果机制通过可微优化学习因果图。评估与验证体系评估指标指标类型常用指标误差类MAE、MSE、RMSE、MAPE、sMAPE相对类MASE平均绝对标度误差、相对 MAE概率类CRPS连续排序概率得分、对数似然、Winkler 得分分类类准确率、F1、AUC-ROC用于时序分类任务验证策略滚动窗口交叉验证训练窗口固定逐步向前滚动。扩展窗口交叉验证训练窗口逐步扩大模拟实际部署场景。时间序列分割严格按时间顺序划分训练/验证/测试集禁止随机打乱避免未来信息泄露。 总结来说时间序列处理的理论体系可以按照统计基础 → 经典模型 → 信号处理 → 机器学习 → 深度学习 → 概率预测 → 因果推断的层次递进理解。经典统计方法ARIMA、GARCH、状态空间模型提供了可解释性强、理论基础扎实的分析框架深度学习方法TCN、Transformer 变体、图神经网络则在大规模、高维、非线性场景中展现了强大的建模能力。两者并非替代关系而是互补共存——在实际应用中往往需要结合领域知识、数据特性和任务需求选择合适的方法组合。