### Transformer模型简介 Transformer是一种基于自注意力机制的神经网络架构，旨在处理序列数据中的长期依赖关系。通过引入多头自注意力机制和前馈神经网络层，使得模型能够并行化训练，在自然语言处理等领域取得了显著效果[^1]。 ### PyTorch实现Transformer的关键组件解析 #### 多头自注意力机制 (Multi-Head Self-Attention) 多头自注意力允许模型在同一位置关注不同表示子空间的信息。具体来说： ```python class MultiHeadedSelfAttention(nn.Module): def __init__(self, d_model, num_heads): super().__init__() assert d_model % num_heads == 0 self.d_k = d_model // num_heads self.num_heads = num_heads self.linears = clones(nn.Linear(d_model, d_model), 4) def forward(self, query, key, value, mask=None): nbatches = query.size(0) # 将输入线性变换到多个head的空间中去 query, key, value = [ lin(x).view(nbatches, -1, self.num_heads, self.d_k).transpose(1, 2) for lin, x in zip(self.linears, (query, key, value)) ] # 计算attention scores scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(self.d_k) if mask is not None: scores = scores.masked_fill(mask == 0, -1e9) p_attn = F.softmax(scores, dim=-1) # 应用attention权重获得加权求和的结果 output = torch.matmul(p_attn, value) output = output.transpose(1, 2).contiguous().view(nbatches, -1, self.h * self.d_k) return self.linears[-1](output) ``` 这段代码展示了如何构建一个多头自注意模块，其中包含了查询、键和值向量之间的交互过程以及最终输出的计算方法。 #### 前馈全连接层 (Feed Forward Network Layer) 每个位置上的词都经过相同的两层线性转换加上ReLU激活函数组成的简单结构来进一步提取特征: ```python class PositionwiseFeedForward(nn.Module): "Implements FFN equation." def __init__(self, d_model, d_ff, dropout=0.1): super(PositionwiseFeedForward, self).__init__() self.w_1 = nn.Linear(d_model, d_ff) self.w_2 = nn.Linear(d_ff, d_model) self.dropout = nn.Dropout(dropout) def forward(self, x): return self.w_2(self.dropout(F.relu(self.w_1(x)))) ``` 此部分实现了标准的位置感知前馈网络，它接收来自上一层的数据作为输入，并对其进行非线性映射以增强表达能力。 #### 编码器与解码器堆叠 整个编码器由一系列相同类型的子层组成；同样地，解码器也遵循类似的模式设计。每一层内部包含两个主要组成部分——一个是带有残差链接的多头自注意力子层，另一个则是另一形式的前馈全连接层。 ```python def make_transformer(N=6, d_model=512, d_ff=2048, h=8, dropout=0.1): c = copy.deepcopy attn = MultiHeadedSelfAttention(d_model, h) ff = PositionwiseFeedForward(d_model, d_ff, dropout) position = PositionalEncoding(d_model, dropout) encoder_layer = EncoderLayer(d_model, c(attn), c(ff), dropout) decoder_layer = DecoderLayer(d_model, c(attn), c(attn), c(ff), dropout) model = Transformer( Encoder(encoder_layer, N), Decoder(decoder_layer, N), nn.Sequential(Embeddings(d_model, src_vocab), c(position)), nn.Sequential(Embeddings(d_model, tgt_vocab), c(position)), Generator(d_model, tgt_vocab) ) for p in model.parameters(): if p.dim() > 1: nn.init.xavier_uniform_(p) return model ``` 上述代码片段定义了一个完整的Transformers框架创建流程，包括初始化参数在内的所有必要操作均在此完成。