### 多层自注意力机制中的具体层次计算 在多层自注意力机制中，每一层的处理方式遵循特定的设计原则。对于第L层和LL层（假设LL为L+1），其内部操作可以分解如下： #### 层次L的计算过程 在一个典型的Transformer架构里，在第L层中，输入序列首先通过一个多头自注意模块来捕捉不同位置之间的关系[^2]。 ```python import torch.nn as nn class MultiHeadAttention(nn.Module): def __init__(self, d_model, num_heads): super(MultiHeadAttention, self).__init__() assert d_model % num_heads == 0 self.d_k = d_model // num_heads self.num_heads = num_heads self.linears = clones(nn.Linear(d_model, d_model), 4) def forward(self, query, key, value, mask=None): batch_size = query.size(0) # Do all the linear projections in batch from d_model => h x d_k query, key, value = \ [l(x).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) for l, x in zip(self.linears, (query, key, value))] # Apply attention on all the projected vectors in batch. x, _ = attention(query, key, value, mask=mask, d_k=self.d_k) # "Concat" using a view and apply a final linear. x = x.transpose(1, 2).contiguous() \ .view(batch_size, -1, self.num_heads * self.d_k) return self.linears[-1](x) ``` 上述代码展示了如何实现单个多头自注意力子层。当这个函数被调用时，它会接收查询、键和值作为参数，并返回经过变换后的输出向量集合。这些输出随后会被传递给残差连接与规范化子层[^1]。 #### 层级LL的计算流程 进入下一层即LL层之前，来自上一阶段的结果将会先经历一次残差链接以及标准化处理。这有助于稳定训练并加速收敛速度。之后再重复类似的自注意力运算逻辑，只不过此时的操作是在更新过的特征空间内执行。 ```python def sublayer_connection(sublayer): residual_conn = lambda x: x + sublayer(normalize(x)) return residual_conn def normalize(tensor): mean = tensor.mean(-1, keepdim=True) std = tensor.std(-1, keepdim=True) normalized_tensor = (tensor - mean) / (std + 1e-6) return normalized_tensor ``` 这里定义了两个辅助功能：`sublayer_connection()`用于构建带有跳跃路径的网络结构；而`normalize()`则实现了简单的批量归一化算法。两者共同作用于每一对连续的编码器或解码器单元之间。