Transformer模型在处理有空缺的二维数组（例如时间序列、传感器数据或带有缺失值的表格数据）时，其学习效果的提升需要从**数据预处理、模型架构改进和训练策略优化**三个层面进行系统性设计。其核心挑战在于Transformer的注意力机制和位置编码对连续、稠密序列的假设，与含有空缺值的二维数据结构存在天然冲突。 ### 一、 数据预处理：填补空缺与结构转换 在输入模型前，必须对空缺值进行处理，并将二维数组转换为适合Transformer的序列形式。 #### 1. 空缺值填充与掩码策略 直接删除或简单填充（如均值填充）会引入噪声或损失信息。更优的策略是结合填充与注意力掩码。 ```python import numpy as np import torch def prepare_sequence_with_masking(two_dim_array, fill_value=0): """ 将二维数组转换为序列，并为空缺值生成注意力掩码。 假设二维数组形状为 [batch_size, seq_len, features]，空缺值用NaN表示。 """ # 1. 填充空缺值 filled_array = np.where(np.isnan(two_dim_array), fill_value, two_dim_array) # 2. 生成注意力掩码（空缺位置为False，有效位置为True） attention_mask = ~np.isnan(two_dim_array).any(axis=-1) # 如果特征维度有任一NaN，则整行掩蔽 # 3. 转换为PyTorch张量 sequence = torch.FloatTensor(filled_array) mask = torch.BoolTensor(attention_mask) return sequence, mask # 示例：一个3x5x2的批次数据，包含NaN batch_data = np.array([ [[1, 2], [np.nan, 4], [5, 6], [7, np.nan], [9, 10]], [[11, 12], [13, 14], [np.nan, np.nan], [17, 18], [19, 20]] ]) sequences, masks = prepare_sequence_with_masking(batch_data, fill_value=0) print("序列形状:", sequences.shape) # torch.Size([2, 5, 2]) print("掩码形状:", masks.shape) # torch.Size([2, 5]) ``` 在Transformer的自注意力计算中，应用此掩码可以防止模型关注到填充的空缺位置： ```python # 在注意力计算中应用掩码（假设score是注意力分数矩阵） score = score.masked_fill(mask.unsqueeze(1).unsqueeze(2) == False, -1e9) ``` #### 2. 高级填充技术 对于复杂的空缺模式，可采用更智能的填充方法： * **时间序列插值**：对于时序数据，使用线性、样条或基于KNN的插值[ref_5]。 * **生成式填充**：使用VAE或GAN等生成模型，学习数据的分布，从而生成合理的填充值。 * **模型预测填充**：训练一个辅助的预测模型（如GRU）来预测缺失值[ref_5]。 ### 二、 模型架构改进：适配二维结构与空缺信息 标准Transformer需要针对性改进以更好地处理此类数据。 #### 1. 引入专门的位置与结构编码 * **二维位置编码**：标准的正弦位置编码只适用于一维序列。对于二维数组（如时间步×特征），需要融合两个维度的位置信息。 ```python class TwoDimPositionalEncoding(nn.Module): def __init__(self, d_model, max_len_seq, max_len_feat): super().__init__() # 为序列维度（时间）和特征维度分别创建编码 self.pos_encoding_seq = self._get_sinusoid_encoding(max_len_seq, d_model) self.pos_encoding_feat = self._get_sinusoid_encoding(max_len_feat, d_model) def forward(self, x): # x: [batch, seq_len, feat_dim, d_model] seq_len, feat_dim = x.size(1), x.size(2) # 将两个维度的编码相加或拼接 pos_enc = self.pos_encoding_seq[:seq_len].unsqueeze(1) + \ self.pos_encoding_feat[:feat_dim].unsqueeze(0) return x + pos_enc ``` * **空缺感知的注意力机制**：修改注意力计算，显式地让模型感知空缺模式。例如，在计算注意力权重时，加入一个基于空缺掩码的偏置项。 #### 2. 混合模型架构：Transformer + 传统时序/序列模型 这是处理不完整时序数据非常有效的策略[ref_5]。 * **前端特征提取器**：使用GRU、LSTM或TCN作为前置网络，处理原始序列并输出隐藏状态。这些模型对缺失值有一定鲁棒性。 * **后端Transformer编码器**：将GRU的输出作为Transformer的输入，利用其强大的全局依赖建模能力。 ```python class HybridGRUTransformer(nn.Module): def __init__(self, input_dim, d_model, nhead, num_layers): super().__init__() self.gru = nn.GRU(input_dim, d_model, batch_first=True) self.transformer_encoder = nn.TransformerEncoder( nn.TransformerEncoderLayer(d_model, nhead), num_layers ) def forward(self, x, mask): # GRU处理原始序列 gru_out, _ = self.gru(x) # [batch, seq_len, d_model] # Transformer进一步编码 output = self.transformer_encoder(gru_out, src_key_padding_mask=~mask) return output ``` 这种架构结合了GRU对局部时序动态和缺失值的处理能力，以及Transformer的长期依赖捕获能力[ref_5]。 #### 3. 使用专为时序设计的Transformer变体 考虑采用专门为长时序数据设计的架构，如**Crossformer**[ref_6]。它通过**跨维度注意力（DSW层）**和**分层编码器-解码器**结构，能更高效地捕获不同时间尺度的依赖关系，并且对数据中的不完整性可能表现出更好的鲁棒性。 ### 三、 训练策略与损失函数优化 #### 1. 针对空缺数据的损失函数设计 在计算损失时，应忽略或降低空缺位置对梯度的贡献。 ```python def masked_mse_loss(preds, targets, mask): """ preds: 模型预测值 [batch, seq_len, ...] targets: 真实值 [batch, seq_len, ...] mask: 布尔掩码，True表示有效位置 [batch, seq_len] """ loss = (preds - targets) ** 2 # 将掩码扩展到与loss相同的维度 mask_expanded = mask.unsqueeze(-1).expand_as(loss) # 只对有效位置计算损失 masked_loss = loss * mask_expanded.float() return masked_loss.sum() / mask_expanded.float().sum() ``` #### 2. 预训练与微调 * **掩码重建预训练（MLM风格）**：在无标签数据上，随机掩码一部分有效数据点，让模型学习重建原始值。这能显著提升模型对数据分布和空缺模式的理解[ref_1]。 * **领域自适应微调**：如果下游任务数据稀缺，可先在大型、完整的相关数据集上预训练，再在带有空缺的小规模目标数据上微调。 #### 3. 超参数优化与正则化 * **使用遗传算法（GA）进行超参数调优**：如参考文献[ref_5]所示，对于复杂的混合模型（如GA-Kmeans-Transformer-GRU），可以使用遗传算法自动搜索最优的学习率、层数、注意力头数等，这是提升模型最终性能的有效手段[ref_5]。 * **增强正则化**：在训练时应用更严格的Dropout、权重衰减，甚至针对注意力权重的特定Dropout（如Attention Dropout），以防止模型在存在噪声和空缺的数据上过拟合。 ### 四、 方案对比与选择建议 | 策略维度 | 具体方法 | 优势 | 适用场景 | | :--- | :--- | :--- | :--- | | **数据预处理** | 掩码填充 + 注意力掩码 | 简单高效，避免无效计算 | 空缺率较低，随机缺失 | | | 时间序列插值 | 保持数据趋势和连续性 | 时序数据，空缺点连续 | | | 生成式模型填充 | 能生成符合数据分布的合理值 | 空缺模式复杂，数据量大 | | **模型架构** | 标准Transformer + 二维编码 | 保持Transformer全局建模能力 | 数据结构规整，需捕获二维关系 | | | **Transformer-GRU混合模型** | **兼具局部时序建模与全局依赖捕获，对缺失鲁棒** | **时序数据，空缺较多，强局部相关性**[ref_5] | | | Crossformer等时序变体 | 高效处理长序列，多尺度建模 | 超长时序数据，计算资源有限[ref_6] | | **训练策略** | 掩码损失函数 | 训练目标更聚焦有效数据 | 所有存在空缺数据的场景 | | | 掩码重建预训练 | 提升模型数据理解与泛化能力 | 拥有大量无标签数据的场景 | | | **遗传算法超参数优化** | **自动化搜索，找到更优配置** | **模型结构复杂，超参数空间大**[ref_5] | **核心建议**：对于处理有空缺的二维数组（尤其是时序数据），**首选方案是构建一个“GRU（或LSTM）前端 + Transformer后端”的混合模型**[ref_5]。在训练前，对数据进行**智能插值填充**并生成**注意力掩码**，同时采用**掩码损失函数**。在资源允许的情况下，使用**遗传算法**对模型关键超参数进行优化，并考虑引入**掩码重建预训练**任务。这套组合策略能系统地提升Transformer在不完整数据上的学习效果与泛化性能。