# 从傅里叶变换到Transformer：时间序列特征工程的进化革命 ## 1. 传统方法的基石：统计与频域分析 时间序列分析的历史可以追溯到19世纪，当时傅里叶变换的提出为周期性信号分析奠定了数学基础。在金融、气象和工业控制等领域，传统方法长期占据主导地位： **核心统计特征**： - 均值、方差、偏度和峰度等描述性统计量 - 自相关函数（ACF）和偏自相关函数（PACF） - 移动平均（MA）和指数平滑（ES）方法 ```python # 使用statsmodels计算ACF和PACF示例 from statsmodels.graphics.tsaplots import plot_acf, plot_pacf plot_acf(ts_data, lags=40) plot_pacf(ts_data, lags=20) ``` **频域分析技术**： - 快速傅里叶变换（FFT）提取周期性特征 - 小波变换实现时频联合分析 - 功率谱密度估计识别主导频率 | 方法 | 适用场景 | 计算复杂度 | 主要局限 | |------|----------|------------|----------| | ARIMA | 平稳序列 | O(n²) | 需手动差分 | | STL分解 | 强季节性 | O(n log n) | 周期需预设 | | 霍尔特-温特斯 | 趋势+季节 | O(n) | 仅加法模型 | > 提示：传统方法在计算资源受限场景仍具优势，如嵌入式设备上的实时监测 ## 2. 机器学习时代的特征工程革新 随着计算能力的提升，基于机器学习的特征工程方法开始崭露头角。tsfresh等工具库实现了自动化特征生成： **现代特征工程范式**： 1. **时域特征**：分位数、过零率、复杂度估计 2. **变换特征**：傅里叶系数、小波能量 3. **聚合特征**：滑动窗口统计量（均值、标准差） 4. **分类特征**：形状特征、符号化表示 ```python # tsfresh自动特征生成示例 from tsfresh import extract_features features = extract_features( df, column_id="id", column_sort="time", default_fc_parameters=MinimalFCParameters() ) ``` **工具库对比**： | 库名称 | 特征数量 | 并行支持 | 内存优化 | 独特功能 | |--------|----------|----------|----------|----------| | tsfresh | 750+ | ✔ | | 统计检验筛选 | | tsfel | 60+ | ✔ | ✔ | 实时处理 | | FeatureTools | 自定义 | | ✔ | 关系型特征 | ## 3. 深度学习带来的范式转变 Transformer架构的兴起彻底改变了时间序列建模方式。清华日晷大模型和京东TPO方案代表了最新技术方向： **架构创新对比**： | 模型 | 核心创新 | 训练效率 | 预测范围 | 适用场景 | |------|----------|----------|----------|----------| | TimesNet | 2D时空建模 | 中等 | 长时 | 多任务统一 | | TPO | RLHF框架 | 低 | 短时 | 商业决策 | | Informer | Prob稀疏注意力 | 高 | 超长时 | 物联网 | **典型实现代码**： ```python # TimesNet的2D变换核心逻辑 def transform_1d_to_2d(x, period): B, T, N = x.shape x = x.reshape(B, T//period, period, N) return x.permute(0, 3, 1, 2) # [B, N, T/p, p] ``` > 注意：现代Transformer模型通常需要至少10,000个样本才能发挥优势 ## 4. 工业级解决方案选型指南 根据实际业务需求选择技术路线： **决策矩阵**： | 考量维度 | 传统方法 | 机器学习 | 深度学习 | |----------|----------|----------|----------| | 数据量需求 | <1k | 1k-10k | >10k | | 可解释性 | 高 | 中 | 低 | | 部署成本 | 低 | 中 | 高 | | 特征工程 | 手动 | 半自动 | 端到端 | **性能优化策略**： - **数据层面**：采用TSLiB的Chunked训练模式 - **模型层面**：使用混合精度训练和梯度检查点 - **系统层面**：部署时采用TensorRT加速 ```bash # 典型训练命令示例 python -u run.py \ --task_name long_term_forecast \ --model TimesNet \ --data ETTh1 \ --seq_len 96 \ --pred_len 24 \ --d_model 64 \ --use_amp # 自动混合精度 ``` ## 5. 前沿方向与实战建议 多模态时间序列分析成为新趋势，京东TPO方案展示了如何融合外部知识： **创新实践案例**： 1. **频域注意力**：在Transformer中直接处理FFT结果 2. **多尺度建模**：并行处理不同采样频率的输入 3. **物理约束**：在损失函数中加入领域知识项 **避坑指南**： - 避免在随机数据中误判季节性（可通过置换检验验证） - 长序列预测建议采用DLinear等简单基准线对比 - 异常检测需区分点异常和模式变化 ```python # 季节性强度检验示例 from statsmodels.tsa.stattools import qs_stat qs_stat = qs_stat(ts_data, 12) # 检验12周期季节性 ``` 在实际项目中，我们常发现传统ARIMA在短时预测上仍能媲美复杂模型，而深度学习在处理高维传感器数据时优势明显。关键是根据业务损失函数（如预测误差成本）而非单纯的技术指标进行选择。