### Transformer 模型特征提取特性 Transformer 模型能够同时捕捉全局和局部特征。其自注意力机制允许每个位置关注输入序列中的任何其他位置，从而有效地获取远程依赖关系并形成全局上下文理解[^1]。 在视觉任务中，通过将图像划分为多个不重叠的补丁(patch)，再利用线性嵌入层转换成 tokens 后送入 Transformer 编码器处理。这种设计使得模型可以在不同尺度上学习空间信息，既包括单个 token 内部表示（对应于局部区域），也涵盖了跨多个 tokens 的交互模式（反映整体布局）。因此，即使是在基于窗口操作的情况下，如 MoA-Transformer 中提到的设计，依然能够在所有 Window 中引入全局信息交换，实现更广泛的特征融合[^2]。 对于特定应用领域内的优化改进，比如语音识别任务里增强版 Res2Net 架构所采用的方法，则强调了局部与全局特征融合的重要性，这进一步证明了 Transformer 类架构具备灵活调整感受野大小的能力，可以根据实际需求定制化地加强某一方面的表现力[^4]。 综上所述，标准形式下的 Transformer 主要倾向于构建全面而深入的理解框架；而在某些变体版本或应用场景下，也会针对性地强化某一类别的特征表达能力。 ```python import torch.nn as nn class MultiHeadAttention(nn.Module): def __init__(self, d_model, num_heads): super(MultiHeadAttention, self).__init__() assert d_model % num_heads == 0 self.d_k = d_model // num_heads self.num_heads = num_heads self.qkv_linear = nn.Linear(d_model, d_model * 3) def forward(self, x): B, N, C = x.shape qkv = self.qkv_linear(x).reshape(B, N, 3, self.num_heads, C // self.num_heads).permute(2, 0, 3, 1, 4) q, k, v = qkv.chunk(3, dim=0) attn_output_weights = (q @ k.transpose(-2, -1)) / math.sqrt(self.d_k) attn_output_weights = attn_output_weights.softmax(dim=-1) output = (attn_output_weights @ v).transpose(1, 2).contiguous().view(B, N, C) return output ``` 此代码片段展示了多头注意力机制的核心部分，该组件是使 Transformer 能够有效捕获长程依存性和广泛关联性的关键技术之一。