### Transformer 架构详解 #### 多头自注意力机制（Multi-Head Attention） 多头自注意力机制允许模型在不同位置关注输入序列的不同部分，从而捕捉更丰富的语义信息。通过并行计算多个注意力函数，每个头部可以专注于不同的特征子空间[^2]。 ```python import torch.nn as nn import math class MultiHeadedAttention(nn.Module): def __init__(self, h, d_model, dropout=0.1): "Take in model size and number of heads." super(MultiHeadedAttention, self).__init__() assert d_model % h == 0 # We assume d_v always equals d_k self.d_k = d_model // h self.h = h self.linears = clones(nn.Linear(d_model, d_model), 4) self.attn = None self.dropout = nn.Dropout(p=dropout) def forward(self, query, key, value, mask=None): if mask is not None: # Same mask applied to all h heads. mask = mask.unsqueeze(1) nbatches = query.size(0) # 1) Do all the linear projections in batch from d_model => h x d_k query, key, value = \ [l(x).view(nbatches, -1, self.h, self.d_k).transpose(1, 2) for l, x in zip(self.linears, (query, key, value))] # 2) Apply attention on all the projected vectors in batch. x, self.attn = attention(query, key, value, mask=mask, dropout=self.dropout) # 3) "Concat" using a view and apply a final linear. x = x.transpose(1, 2).contiguous() \ .view(nbatches, -1, self.h * self.d_k) del query del key del value return self.linears[-1](x) ``` #### 编码器（Encoder） 编码器由一系列相同的层堆叠而成，每一层包含两个子层：一个多头自注意机制和一个全连接前馈网络。为了使模型能够利用顺序信息，在输入嵌入之后会加入位置编码。 #### 解码器（Decoder） 解码器同样由相同结构的层组成，不过每层除了有两个子层外还增加了一个额外的交叉注意力子层来处理来自编码器输出的信息。这使得解码过程不仅依赖于自身的先前预测结果，也能获取到完整的上下文表示。 #### 应用实例 Transformer 不仅限于自然语言处理领域，还可以应用于其他多种模态数据的任务中，比如结合图像、文本和音频等不同类型的数据进行联合建模，CLIP 就是一个很好的例子[^1]。