### 如何在Transformer模型中获得注意力权重 为了理解如何在PyTorch中的`Transformer`模型里获取注意力权重，可以深入探究多头自注意力机制的工作原理以及实现细节。 在构建一个多头注意模块时，通过定义多个独立的自注意力层并行工作，每个都具有不同的可学习参数集。这些自注意力层被封装在一个名为 `MultiHeadAttentionWrapper` 的类中[^5]。当数据流经此组件时，会分别经过各个头部处理，并沿最后一个维度拼接起来形成输出向量。 对于想要提取特定于某个或多个人工神经元（即“头”）产生的软对齐分数——也就是所谓的注意力权重——可以在前向传播函数内部操作，在计算完加权求和之前保存下标准化后的得分矩阵。具体来说： ```python class MultiHeadAttentionWrapper(nn.Module): def __init__(self, d_in, d_out_kq, d_out_v, num_heads): super().__init__() self.heads = nn.ModuleList( [SelfAttention(d_in, d_out_kq, d_out_v) for _ in range(num_heads)] ) def forward(self, x): attention_outputs = [] weights_list = [] # 存储各头的注意力权重 for head in self.heads: output, weights = head(x) # 假设 SelfAttention 返回两个值：output 和 weights attention_outputs.append(output) weights_list.append(weights) concatenated_output = torch.cat(attention_outputs, dim=-1) return concatenated_output, torch.stack(weights_list, dim=0) # 将所有头的权重堆叠在一起返回 ``` 上述代码修改了原始版本以便不仅返回变换后的特征表示还附加了一个额外张量，该张量包含了来自每一个单独关注机制下的概率分布情况。这允许外部调用者访问到实际用于聚合信息源项的重要性度量。 接着，在应用Softmax激活函数之后得到最终形式化的注意力权重矩阵[^2]。这个过程通常发生在单个自我注意单元内，因此如果希望在整个架构层面捕获此类中间产物，则需确保相应部分能够传递必要的变量给更高层次的对象或接口。 最后值得注意的是，由于标准库提供的高层级API可能不会公开所有的内部状态，所以在某些情况下直接利用官方预置好的工具包未必能轻易达成目的；此时就需要考虑继承基础类别或是参照其设计思路自行搭建更灵活可控的数据流动管道来满足特殊需求。