### Transformer双维度注意力机制的实现 为了在Transformer中实现时间序列维度和特征通道维度的双维度注意力机制，并通过可学习参数 `alpha` 进行动态融合，可以按照以下方法设计模型。这种方法的核心在于分别构建针对时间维度和特征通道维度的注意力模块，并利用一个可学习参数来调节两者的重要性。 #### 1. 时间维度与特征通道维度的关注 时间序列数据通常以形状 `(batch_size, sequence_length, feature_dim)` 的张量表示。在这种情况下： - **时间维度**关注的是同一时刻的不同样本点之间的关系。 - **特征通道维度**则聚焦于不同特征之间在某一固定时间步的关系。 #### 2. 双维度注意力的设计 对于时间维度和特征通道维度的注意力机制，可以通过重新排列输入张量的方式分别计算它们的注意力分数。具体来说： - 对于时间维度，保持原始顺序不变。 - 对于特征通道维度，交换时间步和特征维度的位置。 #### 3. 动态融合策略 引入一个可学习参数 `alpha` 来动态调整两个维度注意力结果的比例。这个参数会在训练过程中自动优化[^1]。 以下是完整的代码实现： ```python import torch import torch.nn as nn import torch.nn.functional as F class TimeAttention(nn.Module): """时间维度上的自注意力""" def __init__(self, d_model, num_heads, dropout=0.1): super(TimeAttention, self).__init__() self.attention = nn.MultiheadAttention(d_model, num_heads, dropout=dropout) def forward(self, x): # 输入形状: (sequence_length, batch_size, feature_dim) attn_output, _ = self.attention(x, x, x) return attn_output class ChannelAttention(nn.Module): """特征通道维度上的自注意力""" def __init__(self, d_model, num_heads, dropout=0.1): super(ChannelAttention, self).__init__() self.attention = nn.MultiheadAttention(d_model, num_heads, dropout=dropout) def forward(self, x): # 转置时间维度和特征维度 x_permuted = x.permute(2, 1, 0) # 形状变为 (feature_dim, batch_size, sequence_length) attn_output, _ = self.attention(x_permuted, x_permuted, x_permuted) # 转回原形状 return attn_output.permute(2, 1, 0) class DualDimensionalAttention(nn.Module): def __init__(self, d_model, num_heads, dim_feedforward, dropout=0.1): super(DualDimensionalAttention, self).__init__() # 时间维度注意力 self.time_attention = TimeAttention(d_model, num_heads, dropout) # 特征通道维度注意力 self.channel_attention = ChannelAttention(d_model, num_heads, dropout) # 前馈网络 self.ffn = nn.Sequential( nn.Linear(d_model, dim_feedforward), nn.ReLU(), nn.Dropout(dropout), nn.Linear(dim_feedforward, d_model) ) # 层归一化 self.norm1 = nn.LayerNorm(d_model) self.norm2 = nn.LayerNorm(d_model) # Dropout层 self.dropout = nn.Dropout(dropout) # 可学习参数 alpha self.alpha = nn.Parameter(torch.tensor(0.5)) def forward(self, x): """ 输入: - x: (sequence_length, batch_size, feature_dim) 输出: - out: (sequence_length, batch_size, feature_dim) """ # 时间维度注意力 time_attn_output = self.time_attention(x) time_attn_output = self.dropout(time_attn_output) time_out = self.norm1(x + time_attn_output) # 特征通道维度注意力 channel_attn_output = self.channel_attention(x) channel_attn_output = self.dropout(channel_attn_output) channel_out = self.norm1(x + channel_attn_output) # 动态融合 fused_output = self.alpha * time_out + (1 - self.alpha) * channel_out # 前馈网络 ffn_output = self.ffn(fused_output.transpose(0, 1)).transpose(0, 1) ffn_output = self.dropout(ffn_output) out = self.norm2(fused_output + ffn_output) return out ``` #### 4. 关键点解释 - **时间维度注意力**：直接应用标准的多头注意力机制，保留输入张量的时间顺序。 - **特征通道维度注意力**：通过对输入张量进行转置操作，使得原本沿时间轴的方向变成沿特征轴方向，从而允许我们在此新视角下执行注意力计算[^4]。 - **动态融合**：通过引入可学习参数 `alpha`，使模型能够在训练期间自主决定分配给每种注意力机制多少权重[^1]。 --- ###