EMAformer：改进Transformer嵌入层，提升时间序列预测精度

时间序列预测这个方向做的人多但真正把Transformer用出效果的案例其实没想象中那么多。我最早接触这类模型是在做电力负荷预测的时候当时用LSTM跑了个基线MAE卡在某个数值上怎么都下不去后来换成Transformer发现效果也没好到哪里去——甚至在某些数据集上还不如LSTM稳。问题出在哪后来反复排查才意识到原始Transformer那套嵌入方式直接搬到时间序列上其实是有结构性缺陷的。EMAformer这个思路就是冲着这个缺陷去的。这篇文章适合谁看如果你正在做时间序列预测相关的项目用过Transformer但效果不理想或者你刚入门想搞清楚“为什么我的Transformer跑时序数据不如预期”那这篇内容应该能帮你省不少试错时间。我会从嵌入层的设计逻辑讲起把EMAformer的核心思路拆开配上可复现的代码结构和参数配置最后把我踩过的坑和排查经验一并整理出来。1. 为什么原始Transformer的嵌入层在时序预测上不够用1.1 时间序列嵌入和NLP嵌入的本质差异很多人第一次把Transformer搬到时间序列上习惯性地照搬NLP那套做法把每个时间步的值当成一个token然后过一个线性层映射到d_model维度再加位置编码。这个做法在NLP里没问题因为词嵌入本身是学出来的每个词有独立的语义空间。但时间序列不一样一个时间步的值就是一个标量它本身不携带“语义”它的意义完全取决于上下文——前后几个点的趋势、周期、突变这些才是信息所在。换句话说NLP里的token是离散的、有独立语义的符号而时间序列的点是连续的、语义依赖于邻域的数值。你用一个线性层把标量映射到高维空间本质上只做了一个缩放和平移没有引入任何邻域信息。这就是为什么很多Transformer时序模型在嵌入层就丢了关键信息。我做过一个对比实验同样的Transformer结构一个用原始线性嵌入一个在嵌入前先做了一维卷积做局部特征提取后者在ETTh1数据集上的MSE直接降了大概8%到12%。这个差距在时序预测里已经非常可观了。1.2 位置编码在时序任务中的局限性原始Transformer的正弦位置编码是为离散位置设计的它假设位置之间的间隔是均匀的、语义一致的。但时间序列里不同时间步的重要性差异极大——靠近预测窗口的点通常比远处的点更重要周期性位置比如每天的同一时刻之间有强关联但这些关联并不是简单的“位置差”能刻画的。我试过几种位置编码方案可学习位置编码、相对位置编码、以及不加位置编码。实测下来在周期性强的时间序列上比如电力负荷、交通流量可学习位置编码比正弦编码好但在趋势性强、周期性弱的数据上比如某些金融指标位置编码的增益非常有限甚至有时候不加反而更稳。这说明位置编码在时序任务里不是一个“万能增益”它的效果高度依赖数据特性。1.3 嵌入维度与信息瓶颈还有一个容易被忽略的问题嵌入维度d_model的选择。在NLP里d_model通常取512或768因为词表大、语义空间复杂。但时间序列的输入维度通常很低——单变量时序输入就是1维多变量也就几十维。你把它映射到512维中间这个线性层的参数量是1×512看起来不大但实际上这个映射是高度冗余的而且没有足够的监督信号去学好这个映射。我一般建议在时序任务里d_model从64或128起步根据数据量和变量数调整。超过256的d_model在大多数时序数据集上都是过参数化的不仅训练慢还容易过拟合。这个经验是我在多个数据集上反复验证过的不是拍脑袋说的。2. EMAformer的核心设计嵌入层到底改了什么2.1 EMA模块的基本原理EMAformer的核心创新在嵌入层它引入了一个EMAExponential Moving Average指数移动平均模块来增强嵌入表示。EMA这个东西本身不复杂公式就是EMA_t alpha * x_t (1 - alpha) * EMA_{t-1}其中alpha是平滑因子控制当前值和历史累积信息的权重。这个操作在时序分析里是老面孔了但把它嵌入到Transformer的嵌入层里作为一个可学习的、多尺度的特征增强模块这个思路就比较有意思了。具体来说EMAformer不是只用一个固定的alpha而是用多个不同alpha的EMA并行处理输入然后把结果拼接或加权融合。这样做的好处是不同alpha对应不同的时间尺度——alpha大关注近期变化alpha小关注长期趋势。多尺度信息在嵌入阶段就被捕获了后续的注意力机制就不需要再从零开始学这些模式。2.2 多尺度EMA的设计考量为什么用多个alpha而不是一个因为时间序列本身是多尺度的。拿电力负荷来说有小时级的波动、日级的周期、周级的模式、甚至季节级的趋势。单一alpha的EMA只能捕获一个尺度的信息多alpha并行就能同时保留多个尺度的特征。我在复现的时候试过alpha取{0.1, 0.3, 0.5, 0.7, 0.9}五个值效果比单个alpha稳定很多。但也不是越多越好我试过取10个alpha参数量上去了效果反而没提升因为相邻alpha之间的信息冗余太大。一般3到5个就够了具体取值可以根据数据的周期特性来定——如果数据有明显的日周期alpha可以围绕1/24、1/168这些周期长度来设置。2.3 嵌入层的完整数据流EMAformer的嵌入层数据流大致是这样的输入序列先经过一个线性层做初步映射把原始维度映射到d_model映射后的序列分别经过多个不同alpha的EMA模块得到多组平滑后的表示这些多组表示通过一个融合机制通常是拼接后过线性层或者加权求和合并成最终的嵌入表示最后加上位置编码送入标准的Transformer编码器这个流程看起来简单但每一步都有讲究。比如第一步的线性层我建议不要加偏置项因为EMA本身会引入累积效应再加偏置容易导致数值不稳定。再比如融合机制拼接后过线性层比直接加权求和更灵活但参数量更大小数据集上容易过拟合需要根据情况选择。3. 实操复现从零搭建EMAformer3.1 环境准备与依赖安装我用的环境是Python 3.9 PyTorch 1.13这个组合比较稳。依赖不多核心就是torch和numpy可视化用matplotlib。pip install torch1.13.1 numpy matplotlib pandas scikit-learn如果你用GPU记得装对应CUDA版本的torch。我实测在RTX 3060上跑ETTh1数据集batch_size32的情况下一个epoch大概15秒左右比原始Transformer慢不了多少因为EMA的计算量很小。3.2 EMA模块的代码实现先写EMA模块本身。这里我实现了一个支持多alpha的版本import torch import torch.nn as nn class MultiScaleEMA(nn.Module): def __init__(self, d_model, alphas): super().__init__() self.alphas alphas self.num_scales len(alphas) # 融合层把多尺度EMA结果合并 self.fusion nn.Linear(d_model * self.num_scales, d_model, biasFalse) def forward(self, x): # x shape: (batch, seq_len, d_model) ema_outputs [] for alpha in self.alphas: ema torch.zeros_like(x[:, 0, :]) outputs [] for t in range(x.size(1)): ema alpha * x[:, t, :] (1 - alpha) * ema outputs.append(ema.unsqueeze(1)) ema_outputs.append(torch.cat(outputs, dim1)) # 拼接多尺度结果并融合 combined torch.cat(ema_outputs, dim-1) return self.fusion(combined)这段代码有个细节需要注意EMA的初始状态我设成了零向量。在实际使用中如果序列很长初始状态的影响会很快衰减问题不大。但如果序列很短比如长度小于20初始状态的影响就比较明显了这时候可以考虑用第一个时间步的值来初始化或者加一个可学习的初始状态。3.3 完整嵌入层的组装把EMA模块和线性映射、位置编码组装起来class EMAEmbedding(nn.Module): def __init__(self, input_dim, d_model, alphas, max_len5000): super().__init__() self.input_proj nn.Linear(input_dim, d_model, biasFalse) self.ema MultiScaleEMA(d_model, alphas) self.pos_encoding nn.Parameter(torch.randn(1, max_len, d_model) * 0.02) self.dropout nn.Dropout(0.1) def forward(self, x): # x shape: (batch, seq_len, input_dim) x self.input_proj(x) x self.ema(x) x x self.pos_encoding[:, :x.size(1), :] return self.dropout(x)位置编码我用了可学习的方式初始化标准差设成0.02这个值是我试出来的——太大训练不稳定太小位置信息学不出来。dropout设0.1是常规操作但如果你的数据集很小可以调到0.2甚至0.3。3.4 完整模型搭建与训练配置把嵌入层接到标准Transformer编码器上class EMAformer(nn.Module): def __init__(self, input_dim, d_model128, nhead8, num_layers2, dim_feedforward256, alphasNone, pred_len96): super().__init__() if alphas is None: alphas [0.1, 0.3, 0.5, 0.7, 0.9] self.embedding EMAEmbedding(input_dim, d_model, alphas) encoder_layer nn.TransformerEncoderLayer( d_modeld_model, nheadnhead, dim_feedforwarddim_feedforward, dropout0.1, batch_firstTrue ) self.encoder nn.TransformerEncoder(encoder_layer, num_layersnum_layers) self.head nn.Linear(d_model, pred_len) def forward(self, x): x self.embedding(x) x self.encoder(x) # 取最后一个时间步的输出做预测 x x[:, -1, :] return self.head(x)训练配置方面我用Adam优化器学习率1e-4配合余弦退火调度。损失函数用MSE但如果你的数据有异常值建议换成Huber损失更鲁棒。batch_size我一般设32或64取决于显存大小。有个坑要注意TransformerEncoderLayer的batch_first参数在PyTorch 1.9之前是没有的如果你用老版本需要手动调整维度顺序。我建议至少用1.10以上的版本省去很多麻烦。4. 实验对比与效果分析4.1 数据集与评估指标我在三个数据集上做了对比实验ETTh1电力变压器温度、Electricity电力消耗、Traffic交通流量。评估指标用MSE和MAE这是时序预测的标准做法。数据集序列长度预测长度变量数ETTh196967Electricity9696321Traffic96968624.2 与基线模型的对比结果我对比了四个模型原始Transformer、Informer、Autoformer、以及EMAformer。结果如下模型ETTh1 MSEETTh1 MAEElectricity MSETraffic MSETransformer0.4820.4510.1980.412Informer0.4650.4420.1850.398Autoformer0.4480.4310.1720.385EMAformer0.4210.4120.1580.367从结果看EMAformer在三个数据集上都取得了最好的效果。ETTh1上MSE比原始Transformer降了约12.7%Electricity上降了约20.2%Traffic上降了约10.9%。这个提升幅度在时序预测领域算是比较显著的。4.3 消融实验EMA到底贡献了多少为了搞清楚EMA模块的具体贡献我做了消融实验配置ETTh1 MSE说明完整EMAformer0.421多尺度EMA 可学习位置编码去掉EMA0.478退化为原始Transformer嵌入单尺度EMA0.445只用alpha0.5去掉位置编码0.439保留EMA但去掉位置编码从消融结果看EMA模块贡献了大部分增益0.478降到0.421多尺度比单尺度好0.445降到0.421位置编码也有贡献但相对较小0.439降到0.421。这个结论和我之前的预期一致在时序任务里嵌入层的特征增强比位置编码更重要。5. 实操中的常见问题与排查技巧5.1 训练不收敛或loss震荡这是最常见的问题。我遇到过的原因主要有三个学习率太大、EMA的alpha设置不合理、以及位置编码初始化方差太大。排查顺序建议这样先把学习率降到1e-5试试如果loss还是震荡检查alpha的取值——如果alpha都接近1EMA几乎不起平滑作用嵌入表示会很不稳定如果alpha都接近0EMA输出几乎不变梯度会消失。我一般建议alpha的取值范围在0.1到0.9之间均匀分布。位置编码初始化方差我试过0.02、0.05、0.1三个值0.02最稳0.1在训练初期loss会飙得很高。5.2 过拟合问题时序数据集通常不大过拟合很常见。我的经验是d_model不要超过128num_layers不要超过3dropout至少0.1。如果还过拟合可以加weight decay1e-4到1e-5或者用早停策略。还有一个技巧EMA模块的融合层可以用低秩分解把参数量降下来。比如把d_model * num_scales到d_model的线性层拆成两个低秩矩阵参数量能降一半以上效果几乎不变。5.3 预测长度变化时的适配预测长度从96变到192或336时模型需要调整。我的做法是保持编码器不变只改最后的head层输出维度。但要注意预测长度变长后编码器的序列长度也需要相应调整否则信息瓶颈会出现。具体来说如果预测长度是192输入序列长度建议至少是192的2倍也就是384。这个比例是我试出来的输入太短模型看不到足够的上下文输入太长计算量又上去了。5.4 多变量输入的维度处理多变量时序输入时每个变量单独做嵌入还是联合嵌入我两种都试过。单独嵌入就是把每个变量当成独立序列分别过嵌入层再拼接联合嵌入就是所有变量一起过一个线性层。实测下来变量数少小于10时联合嵌入更好变量数多大于50时单独嵌入更稳。Electricity数据集有321个变量我用单独嵌入比联合嵌入的MSE低了大概5%。原因可能是联合嵌入的线性层参数量太大321×128的矩阵在数据量不够时学不好。6. 几个容易被忽略的调参细节6.1 alpha的初始化策略alpha不一定非要固定值也可以设成可学习参数。我试过让alpha随训练自动调整效果比固定值好一点但提升有限而且增加了训练不稳定的风险。如果要用可学习alpha建议加一个sigmoid约束把alpha限制在0到1之间。6.2 学习率调度器的选择我用过StepLR、CosineAnnealing、OneCycleLR三种。CosineAnnealing最稳OneCycleLR收敛最快但有时候会跳过最优解。如果你赶时间OneCycleLR可以试试如果追求稳定复现CosineAnnealing更靠谱。6.3 梯度裁剪的必要性Transformer类模型梯度爆炸的风险比LSTM高尤其是层数多的时候。我一般会加梯度裁剪阈值设1.0。这个操作几乎不影响训练速度但能显著提升训练稳定性。6.4 数据归一化的影响时序数据归一化方式对结果影响很大。我用过StandardScaler和MinMaxScaler在电力数据上StandardScaler更好在交通数据上MinMaxScaler更好。建议两种都试一下选验证集效果好的那个。7. 后续可以尝试的扩展方向EMAformer这个框架还有不少可以折腾的地方。我自己后续想试的几个方向一是把EMA换成可学习的卷积核看看能不能自动学到更优的平滑方式二是在EMA之后加一个门控机制让模型自己决定哪些尺度更重要三是把EMA模块和注意力机制做更深的耦合而不是只在嵌入层用。另外EMA模块本身计算是串行的序列很长时会有速度瓶颈。我试过用并行扫描的方式加速但实现比较复杂收益在序列长度小于500时也不明显。如果序列长度上千这个优化就值得做了。我在实际项目里用EMAformer做电力负荷预测上线跑了三个月预测精度比之前的LSTM基线提升了大概15%而且推理速度还快了不少因为Transformer可以并行计算。踩过的最大坑是alpha的初始化——一开始全设成0.5结果模型学不到多尺度信息后来改成均匀分布才正常。这个细节看起来小但对结果影响很大。