### Autoformer 架构详解 #### 序列分解模块（Decomposition Block） Autoformer引入了序列分解模块来处理时间序列数据中的复杂模式。此模块能够分离原始时间序列信号为多个子组件，如趋势项和季节性成分。这种做法有助于简化后续处理过程并提高模型性能[^1]。 ```python class DecompositionBlock(nn.Module): def __init__(self, kernel_size=25): super(DecompositionBlock, self).__init__() self.moving_avg = nn.Conv1d(in_channels=kernel_size, out_channels=1, kernel_size=(kernel_size,), stride=1, padding='same', bias=False) def forward(self, x): moving_mean = self.moving_avg(x.permute(0, 2, 1)).permute(0, 2, 1) res = x - moving_mean return res, moving_mean ``` #### 自相关机制（Auto-Correlation Mechanism） 传统自注意力机制存在信息利用瓶颈的问题，在长时间预测场景下表现不佳。为了克服这一局限性，Autoformer采用了基于快速傅里叶变换（FFT）计算的自相关机制代替标准自注意层。这种方法不仅保持了较低的时间复杂度 \(O(L \log L)\)，而且可以更有效地捕捉长期依赖关系而不损失重要特征信息[^2]。 ```python import numpy as np from scipy.fft import fft, ifft def auto_correlation(query, key, value, mask=None): B, T_q, C = query.shape _, T_k, _ = key.shape # Compute FFT of queries and keys q_fft = fft(query, axis=-1) k_fft = fft(key, axis=-1).conj() # Element-wise multiplication followed by inverse FFT to get correlation scores corr_scores = ifft(q_fft * k_fft, axis=-1).real / np.sqrt(T_k) if mask is not None: corr_scores += (mask * (-1e9)) attention_weights = F.softmax(corr_scores, dim=-1) output = torch.bmm(attention_weights, value) return output, attention_weights ``` #### 编码器与解码器结构（Encoder & Decoder） 整体上，Autoformer沿用了经典的Transformer架构作为基础框架，但在内部集成了上述提到的新颖组件——即序列分解模块和自相关机制。编码部分负责接收输入序列并通过多层堆叠的方式逐步提炼高层次表示；而解码端则依据这些抽象表征重建目标输出序列。 ```python class EncoderLayer(nn.Module): """Single layer within the encoder stack.""" ... class DecoderLayer(nn.Module): """Single layer within the decoder stack.""" ... ``` 通过这种方式，Autoformer能够在保留原有优点的同时显著改善对于长周期时间序列建模的能力，从而更好地适应实际应用场景需求。