### 如何在 Keras 中提取 Vision Transformer (ViT) 模型的注意力权重 为了从 Keras 实现的 Vision Transformer (ViT) 模型中提取注意力权重，可以采用以下方法： #### 修改自定义层以返回注意力分数 通常情况下，在构建 ViT 的时候会使用 `MultiHeadAttention` 层。要获得这些层内部计算得到的注意力分布情况，则可以在创建该类实例时设置参数使其能够输出额外的信息。 ```python from tensorflow.keras.layers import MultiHeadAttention, LayerNormalization, Dropout, Dense import numpy as np class CustomMHA(MultiHeadAttention): def call(self, query, value, key=None, attention_mask=None, training=None): result, attn_weights = super().call(query=query, value=value, key=key or value, return_attention_scores=True, training=training) self.last_attn_weights = attn_weights return result ``` 这段代码展示了如何继承标准的 `MultiHeadAttention` 类并重写其调用函数以便保存最近一次前向传播过程中产生的注意力建议矩阵[^1]。 #### 构建带有可访问属性的模型架构 当设计整个网络结构的时候，应该确保每一个涉及多头注意力机制的地方都使用上述定制版本的对象替代默认组件。这允许在整个训练周期内随时查询任意一层或多层所对应的注意力模式。 ```python def create_vit_model(image_size=(224, 224), patch_size=16, num_classes=1000, transformer_layers=12, mlp_dim=3072, heads=12, dropout_rate=0.1): inputs = Input(shape=image_size + (3,)) # ...省略其他部分... for _ in range(transformer_layers): normed_x = LayerNormalization()(x) custom_mha_layer = CustomMHA(num_heads=heads)(normed_x, normed_x) x = Add()([custom_mha_layer, shortcut]) x = LayerNormalization()(x) # MLP block... outputs = Dense(num_classes)(x[:, 0]) model = Model(inputs=[inputs], outputs=[outputs]) return model ``` 此段伪代码片段说明了怎样在一个典型的 ViT 设计里集成之前定义好的 `CustomMHA` 组件。请注意这里只展示了一次迭代过程；实际应用中可能需要重复多次以形成完整的编码器堆栈[^2]。 #### 访问特定层后的注意力图谱 一旦完成了模型搭建并且进行了必要的拟合操作之后，就可以轻松地获取任一指定位置处的注意力权值了。假设已经有一个名为 `model` 的对象表示经过充分训练过的 ViT 网络，并且想要查看第 n 层 MSA 单元所产生的关注程度映射关系： ```python layer_index = n - 1 # 调整索引因为列表是从零开始编号的 attention_map = model.get_layer(index=layer_index).last_attn_weights.numpy() print(f'Layer {n} Attention Weights Shape:', attention_map.shape) ``` 以上命令将会打印出对应于选定层级的关注度张量尺寸信息。对于更深入的数据可视化需求而言，还可以进一步利用 matplotlib 或 seaborn 库绘制热力图表征不同区域间的关联强度变化趋势[^3]。