在Transformer架构中，注意力机制存在明确的层级划分与功能解耦。编码器中的多头注意力完全基于自注意力机制构建，而解码器的第二层多头注意力则采用标准的注意力机制范式，两者的输入来源与计算目标存在本质差异。 ## 1. 注意力机制的三层架构解析 ### 1.1 基础注意力机制 (Attention) 基础注意力机制本质上是源-目标对齐的数学建模，通过查询(Query)、键(Key)、值(Value)三元组实现信息检索。其核心公式为： $$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 该机制允许模型根据当前处理位置的需求，从不同来源的信息中动态提取相关特征。 ### 1.2 自注意力机制 (Self-Attention) 自注意力是注意力机制的特化形式，其核心特征是Q、K、V三者同源——均来自同一输入序列的不同线性变换。这种设计使得序列内部的每个元素都能够与所有其他元素建立关联，从而捕获长距离依赖关系。 ```python # 自注意力计算示例 class SelfAttention(nn.Module): def __init__(self, d_model): super().__init__() self.w_q = nn.Linear(d_model, d_model) # Q变换矩阵 self.w_k = nn.Linear(d_model, d_model) # K变换矩阵 self.w_v = nn.Linear(d_model, d_model) # V变换矩阵 def forward(self, x): Q = self.w_q(x) # 所有Q来自同一输入 K = self.w_k(x) # 所有K来自同一输入 V = self.w_v(x) # 所有V来自同一输入 # 后续计算与基础注意力相同 ``` ### 1.3 多头注意力机制 (Multi-Head Attention) 多头注意力通过并行多个注意力头来扩展模型的表示能力，每个头学习不同的关注模式： ```python # 多头注意力结构 class MultiHeadAttention(nn.Module): def __init__(self, d_model, num_heads): super().__init__() self.heads = nn.ModuleList([ SelfAttention(d_model // num_heads) for _ in range(num_heads) ]) def forward(self, Q, K, V): # 各头并行计算，结果拼接 outputs = [head(Q, K, V) for head in self.heads] return torch.cat(outputs, dim=-1) ``` ## 2. 编码器与解码器的注意力配置差异 ### 2.1 编码器的多头注意力 在Transformer编码器中，多头注意力严格基于自注意力机制构建[ref_1]。每个编码器块接收前一层的输出作为输入，通过自注意力计算生成新的上下文感知表示。 **技术特征**： - Q、K、V三者同源：均来自前一编码器层的输出 - 功能目标：建立输入序列内部的全局依赖关系 - 计算特性：无掩码操作，可访问序列所有位置 ### 2.2 解码器的双重注意力配置 #### 2.2.1 掩码多头注意力 (Masked Multi-Head Attention) 解码器的第一层采用带掩码的自注意力： - Q、K、V来源：均来自解码器自身的输入（目标序列） - 掩码机制：防止当前位置关注后续位置，确保自回归性质 - 功能：建立目标序列内部的依赖关系 #### 2.2.2 编码器-解码器注意力 (Encoder-Decoder Attention) 解码器的第二层采用标准的注意力机制[ref_1]： **输入来源分析**： - **Query来源**：来自掩码多头注意力的输出，代表当前解码位置的需求 - **Key和Value来源**：来自编码器最后一层的输出，包含源语言的完整语义信息 **计算逻辑**： ```python # 解码器第二层注意力计算流程 class DecoderCrossAttention(nn.Module): def forward(self, decoder_output, encoder_output): # Q: 来自掩码自注意力的输出（目标序列上下文） Q = self.w_q(decoder_output) # K, V: 来自编码器最后一层输出（源序列编码） K = self.w_k(encoder_output) V = self.w_v(encoder_output) # 执行标准注意力计算 attention_weights = torch.softmax(Q @ K.transpose(-2,-1) / math.sqrt(d_k), dim=-1) output = attention_weights @ V return output ``` ## 3. 架构设计的理论依据 ### 3.1 信息流分离原则 这种设计实现了明确的信息流分离： - **编码器自注意力**：源语言内部语义关系建模 - **解码器掩码自注意力**：目标语言生成过程中的序列建模 - **编码器-解码器注意力**：跨语言的语义对齐与信息传递 ### 3.2 功能解耦优势 | 注意力类型 | Q来源 | K,V来源 | 功能目标 | |-----------|-------|---------|----------| | 编码器自注意力 | 编码器输入 | 编码器输入 | 源序列内部依赖 | | 解码器掩码自注意力 | 解码器输入 | 解码器输入 | 目标序列自回归生成 | | 编码器-解码器注意力 | 掩码注意力输出 | 编码器输出 | 跨语言语义对齐 | ### 3.3 实践意义 这种架构设计使得Transformer在机器翻译等序列到序列任务中能够： 1. 分别建模源语言和目标语言的内部结构 2. 实现精确的源-目标对齐 3. 保持生成过程的严格自回归特性 4. 支持并行训练与高效推理 通过这种精妙的注意力配置，Transformer成功地将不同类型的注意力机制整合到统一的架构框架中，既保持了模型的理论简洁性，又获得了强大的序列建模能力。