### Transformer 模型的主干网络架构 Transformer 的核心在于其独特的编码器-解码器结构，不过对于仅作为特征提取器使用的场景（如视觉任务），通常只采用编码器部分[^3]。 #### 编码器层设计 每个编码器由两个子层组成： 1. **多头自注意力机制 (Multi-head Self-Attention)** 这一部分允许模型并行处理输入序列中的每一个位置，并捕捉不同位置之间的关系。通过多个注意头的学习，可以关注于输入的不同方面，从而增强表达能力。 2. **前馈神经网络 (Feed Forward Neural Network, FFNN)** 在经过自注意力计算之后，数据会传递给一个全连接的两层线性变换组成的FFNN。这个组件负责进一步抽象特征表示。 为了稳定训练过程，在这两个子层之间还加入了残差连接以及层归一化操作。 ```python class EncoderLayer(nn.Module): def __init__(self, d_model, num_heads, d_ff, dropout=0.1): super(EncoderLayer, self).__init__() # Multi-Head Attention Layer self.self_attn = nn.MultiheadAttention(d_model, num_heads, dropout=dropout) # Feedforward layer with two linear transformations and a ReLU activation in between. self.feed_forward = nn.Sequential( nn.Linear(d_model, d_ff), nn.ReLU(), nn.Linear(d_ff, d_model) ) def forward(self, x): attn_output, _ = self.self_attn(x, x, x) # Apply multi-head attention on input sequence 'x' out1 = F.layer_norm(attn_output + x, normalized_shape=x.size()[1:]) # Add & Normalize ff_output = self.feed_forward(out1) output = F.layer_norm(ff_output + out1, normalized_shape=out1.size()[1:]) # Add & Normalize again return output ``` 在具体应用到计算机视觉领域时，比如YOLOv5更换为主干网Swin Transformer的情况，则是在上述基础上进行了适应性的调整，采用了移位窗口策略来构建局部感受野，进而更好地适用于二维图像数据的特点[^1]。