### Transformer Self-Attention 度量特征重要性和冗余性的方法及实现 Transformer 的 self-attention 机制能够通过权重分配来度量特征的重要性与冗余性。具体来说，self-attention 的核心思想是通过计算 query 和 key 的点积生成注意力分数，并将其作为权重应用于 value 向量上[^3]。这些权重可以被解释为不同位置的特征对当前特征的重要性程度。 #### 方法分析 1. **权重矩阵解析** 在 self-attention 中，每个位置 \(i\) 的输出是由所有位置 \(j\) 的加权和构成的，权重由 softmax 函数归一化后的注意力分数决定。这些分数直接反映了特征之间的相关性。因此，可以通过分析注意力权重矩阵 \(A \in \mathbb{R}^{n \times n}\) 来评估特征的重要性与冗余性[^5]。 2. **特征重要性** 特征的重要性可以通过注意力权重矩阵中的列向量来衡量。对于某个特征 \(i\)，其在所有其他特征上的权重分布表示该特征对整体输入的贡献程度。如果某个特征的权重值普遍较高，则说明该特征具有较高的全局重要性。 3. **特征冗余性** 特征冗余性可以通过注意力权重矩阵中的行向量来衡量。如果某一行的权重分布较为集中（即大部分权重集中在少数几个特征上），则说明这些特征之间存在较高的相似性或冗余性。反之，若权重分布较为均匀，则说明特征间的关系更加多样化。 4. **多头注意力的作用** Multi-head Attention 提供了多个不同的视角来捕捉特征之间的关系，从而增强了模型的表达能力[^5]。每个 head 的注意力权重矩阵可以独立分析，最终结合所有 heads 的结果以获得更全面的特征重要性和冗余性评估。 #### 实现代码示例 以下是一个简单的实现代码，展示如何从 self-attention 层中提取并分析特征重要性和冗余性。 ```python import torch import torch.nn as nn class SelfAttention(nn.Module): def __init__(self, dim, heads=8): super().__init__() self.heads = heads self.scale = dim ** -0.5 self.to_qkv = nn.Linear(dim, dim * 3, bias=False) self.to_out = nn.Linear(dim, dim) def forward(self, x): B, N, C = x.shape qkv = self.to_qkv(x).reshape(B, N, 3, self.heads, C // self.heads).permute(2, 0, 3, 1, 4) q, k, v = qkv.unbind(0) dots = torch.einsum('bhid,bhjd->bhij', q, k) * self.scale attn = dots.softmax(dim=-1) # 注意力权重矩阵 [B, heads, N, N] out = torch.einsum('bhij,bhjd->bhid', attn, v).reshape(B, N, C) return self.to_out(out), attn # 返回输出和注意力权重矩阵 # 示例用法 dim = 64 heads = 4 model = SelfAttention(dim, heads) x = torch.randn(1, 10, dim) # 输入形状 [batch_size, sequence_length, dim] output, attention_weights = model(x) # 分析特征重要性和冗余性 importance_scores = attention_weights.mean(dim=1).mean(dim=0) # 平均每个特征的重要性 [N] redundancy_scores = attention_weights.var(dim=-1).mean(dim=1) # 每个 head 的特征冗余性 [heads] print("Feature Importance Scores:", importance_scores) print("Feature Redundancy Scores:", redundancy_scores) ``` #### 结果解释 - **`importance_scores`**：表示每个特征的全局重要性得分，数值越高表明该特征越重要。 - **`redundancy_scores`**：表示每个 head 下特征的冗余性得分，数值越低表明特征间的相似性越高。 ###