### Transform编码器结构图解析 Transformer 的编码器（Encoder）是整个架构的核心组成部分之一，主要用于处理输入序列并将其转换为高维特征表示。以下是关于 Transformer 编码器结构的详细解析： #### 1. 输入嵌入层 在 Transformer 中，输入序列首先被转化为词向量形式，这一步称为 **嵌入层**。每个单词会被映射到一个固定维度的向量空间中[^3]。 ```python import torch.nn as nn class EmbeddingLayer(nn.Module): def __init__(self, vocab_size, d_model): super(EmbeddingLayer, self).__init__() self.embedding = nn.Embedding(vocab_size, d_model) def forward(self, x): return self.embedding(x) * (d_model ** 0.5) ``` #### 2. 位置编码器 由于 Transformer 不像 RNN 那样具有天然的时间顺序特性，因此需要引入一种机制来捕捉序列的位置信息。这就是 **位置编码器** 的作用[^3]。它通过将正弦和余弦函数应用于不同频率范围内的位置索引来实现这一点。 ```python def positional_encoding(max_len, d_model): pe = torch.zeros(max_len, d_model) position = torch.arange(0, max_len).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2) * -(torch.log(torch.tensor(10000.0)) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) return pe.unsqueeze(0) ``` #### 3. 多头注意力层 多头注意力（Multi-head Attention）是 Transformer 的核心创新之一。该模块允许模型在同一时间关注输入的不同部分，并提取更丰富的上下文信息[^3]。 - 查询（Q）、键（K）和值（V）是从输入嵌入计算而来的矩阵。 - 注意力分数基于 Q 和 K 计算得出，随后用于加权求和 V 得到最终输出。 ```python class MultiHeadAttention(nn.Module): def __init__(self, d_model, num_heads): super(MultiHeadAttention, self).__init__() assert d_model % num_heads == 0 self.d_k = d_model // num_heads self.num_heads = num_heads self.linears = clones(nn.Linear(d_model, d_model), 4) def attention(self, query, key, value, mask=None, dropout=None): scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(self.d_k) if mask is not None: scores = scores.masked_fill(mask == 0, -1e9) p_attn = F.softmax(scores, dim=-1) if dropout is not None: p_attn = dropout(p_attn) return torch.matmul(p_attn, value), p_attn def forward(self, query, key, value, mask=None): nbatches = query.size(0) query, key, value = [ lin(x).view(nbatches, -1, self.num_heads, self.d_k).transpose(1, 2) for lin, x in zip(self.linears, (query, key, value))] x, _ = self.attention(query, key, value, mask=mask, dropout=self.dropout) x = x.transpose(1, 2).contiguous().view(nbatches, -1, self.h * self.d_k) return self.linears[-1](x) ``` #### 4. 规范化层 规范化层的作用是对每一层的输出进行标准化操作，从而加速训练过程并提高模型稳定性。 ```python class LayerNorm(nn.Module): def __init__(self, features, eps=1e-6): super(LayerNorm, self).__init__() self.a_2 = nn.Parameter(torch.ones(features)) self.b_2 = nn.Parameter(torch.zeros(features)) self.eps = eps def forward(self, x): mean = x.mean(-1, keepdim=True) std = x.std(-1, keepdim=True) return self.a_2 * (x - mean) / (std + self.eps) + self.b_2 ``` #### 5. 残差连接 残差连接是一种跳过某些层的设计方法，在 Transformer 中广泛采用以缓解梯度消失问题[^3]。 ```python class ResidualConnection(nn.Module): def __init__(self, size, dropout): super(ResidualConnection, self).__init__() self.norm = LayerNorm(size) self.dropout = nn.Dropout(dropout) def forward(self, x, sublayer): return x + self.dropout(sublayer(self.norm(x))) ``` #### 6. 前馈全连接层 前馈全连接层是一个简单的两层线性变换网络，通常包含 ReLU 或 GELU 激活函数[^3]。 ```python class PositionwiseFeedForward(nn.Module): def __init__(self, d_model, d_ff, dropout=0.1): super(PositionwiseFeedForward, self).__init__() self.w_1 = nn.Linear(d_model, d_ff) self.w_2 = nn.Linear(d_ff, d_model) self.dropout = nn.Dropout(dropout) def forward(self, x): return self.w_2(self.dropout(F.relu(self.w_1(x)))) ``` --- ### 结构总结 Transformer 编码器由多个相同的层堆叠而成，每层主要包括以下几个子组件： 1. **多头自注意力机制**：捕获全局依赖关系。 2. **前馈全连接网络**：增强表达能力。 3. **残差连接与层归一化**：提升收敛速度和数值稳定性。 这些组件共同协作，使得 Transformer 能够高效地处理长距离依赖问题，并成为自然语言处理领域的重要工具。 ---