### Transformer架构在序列数据建模中的实现方式 Transformer架构通过其独特的自注意力机制和前馈网络，显著提升了序列数据建模的能力。以下详细描述了Transformer架构如何用于序列数据建模的完整过程： #### 1. 输入表示 在Transformer中，输入序列首先被转换为嵌入向量（Embedding）。每个输入token会被映射到一个固定维度的向量空间[^1]。此外，为了捕捉序列的位置信息，位置编码（Positional Encoding）会被添加到嵌入向量中。位置编码可以是固定的正弦/余弦函数形式，也可以是可学习的参数[^3]。 ```python import torch import math def positional_encoding(seq_len, d_model): pe = torch.zeros(seq_len, d_model) for pos in range(seq_len): for i in range(0, d_model, 2): pe[pos, i] = math.sin(pos / (10000 ** (i / d_model))) if i + 1 < d_model: pe[pos, i + 1] = math.cos(pos / (10000 ** (i / d_model))) return pe ``` #### 2. 自注意力机制 自注意力机制允许模型并行地关注输入序列中的所有位置，从而捕捉长距离依赖关系。具体来说，自注意力计算分为三个步骤：生成查询（Query）、键（Key）和值（Value）向量，计算注意力分数，以及加权求和得到输出[^1]。 ```python def scaled_dot_product_attention(query, key, value): scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(key.size(-1)) attn_weights = torch.softmax(scores, dim=-1) output = torch.matmul(attn_weights, value) return output, attn_weights ``` #### 3. 多头注意力 为了增强模型的表达能力，Transformer采用了多头注意力机制（Multi-Head Attention）。该机制通过并行计算多个独立的自注意力，并将结果拼接后送入线性变换层[^1]。 ```python class MultiHeadAttention(torch.nn.Module): def __init__(self, d_model, num_heads): super(MultiHeadAttention, self).__init__() self.d_model = d_model self.num_heads = num_heads self.head_dim = d_model // num_heads self.q_linear = torch.nn.Linear(d_model, d_model) self.k_linear = torch.nn.Linear(d_model, d_model) self.v_linear = torch.nn.Linear(d_model, d_model) self.fc_out = torch.nn.Linear(d_model, d_model) def forward(self, query, key, value): batch_size = query.size(0) q = self.q_linear(query).view(batch_size, -1, self.num_heads, self.head_dim).transpose(1, 2) k = self.k_linear(key).view(batch_size, -1, self.num_heads, self.head_dim).transpose(1, 2) v = self.v_linear(value).view(batch_size, -1, self.num_heads, self.head_dim).transpose(1, 2) scores = torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(self.head_dim) attn_weights = torch.softmax(scores, dim=-1) context = torch.matmul(attn_weights, v).transpose(1, 2).contiguous().view(batch_size, -1, self.d_model) output = self.fc_out(context) return output ``` #### 4. 编码器与解码器结构 Transformer由编码器和解码器两部分组成。编码器通过堆叠多层自注意力和前馈网络来提取输入序列的特征[^3]。解码器则在自注意力的基础上引入了掩码自注意力（Masked Self-Attention）和交叉注意力（Cross-Attention），以生成目标序列。 #### 5. 前馈网络 每层Transformer都包含一个前馈网络（Feed-Forward Network, FFN），用于对注意力机制的输出进行非线性变换。FFN通常由两个全连接层组成，中间插入激活函数（如ReLU或SwiGLU）[^3]。 ```python class FeedForward(torch.nn.Module): def __init__(self, d_model, d_ff, dropout=0.1): super(FeedForward, self).__init__() self.linear_1 = torch.nn.Linear(d_model, d_ff) self.dropout = torch.nn.Dropout(dropout) self.linear_2 = torch.nn.Linear(d_ff, d_model) def forward(self, x): x = self.dropout(torch.relu(self.linear_1(x))) x = self.linear_2(x) return x ``` #### 6. 输出与训练 Transformer的输出可以通过多层感知机（MLP）进一步处理，最终通过激活函数（如Sigmoid或Softmax）生成预测结果[^2]。模型通过最大化预测分布与真实标签之间的相似度进行训练。 ---