### 如何在 Keras 中提取 Vision Transformer (ViT) 的注意力权重及计算注意力机制的梯度 #### 提取 ViT 模型中的注意力权重 为了从 Vision Transformer 获取注意力权重，在构建模型时需确保所使用的库支持这一功能。通常情况下，通过自定义层或利用预训练模型接口可以实现此目的。 对于基于 TensorFlow 和 Keras 实现的 Vision Transformers，可以通过访问特定层来获得注意力分数。下面是一个简单的例子展示如何操作： ```python import tensorflow as tf from keras.models import Model from vit_keras import vit # 假设使用的是vit_keras包下的ViT实现 # 加载预训练的ViT模型并设置为不可训练模式 model = vit.vit_b16( image_size=224, activation=None, pretrained=True, include_top=False) # 构建新的模型以输出中间特征图和注意力得分 layer_name = 'Transformer:0/block_1/Attention/ScaledDotProductAttention' # 需要根据实际框架调整路径名 attention_layer_model = Model(inputs=model.input, outputs=[model.get_layer(layer_name).output]) def get_attention_weights(image_input): """给定图像输入，返回对应的注意力权重""" attention_output = attention_layer_model.predict(image_input)[1] return attention_output ``` 上述代码片段展示了怎样创建一个新的 `Model` 对象用于预测阶段，并指定希望从中抽取数据的目标层名称[^1]。注意这里的 `layer_name` 可能会因不同版本的具体实现而有所差异，因此可能需要查阅具体文档确认确切的名字。 #### 计算注意力机制的梯度 当涉及到反向传播过程中计算某个张量相对于其他变量的变化率时，则需要用到自动微分工具。TensorFlow/Keras 自带了强大的 API 来完成这项工作——即 GradientTape 上下文管理器。以下是关于如何针对给定样本计算其对应于最后一层激活前值（logits）变化的影响程度的方法说明： ```python @tf.function def compute_gradients(model, input_image, target_class_idx): with tf.GradientTape() as tape: logits = model(input_image, training=False) loss_value = tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(labels=tf.one_hot([target_class_idx], depth=logits.shape[-1]), logits=logits)) grads = tape.gradient(loss_value, model.trainable_variables) return grads input_image = ... # 输入图片的数据形式应匹配模型预期格式 target_class_idx = ... # 所关心类别索引编号 grads = compute_gradients(attention_layer_model, input_image, target_class_idx) for var, grad in zip(attention_layer_model.trainable_variables, grads): if "ScaledDotProductAttention" in var.name: print(f"{var.name}: {grad.numpy().mean()}") # 输出平均梯度值作为示例 ``` 这段脚本首先定义了一个函数 `compute_gradients()`，它接受三个参数：待分析的模型实例、单个测试样例及其标签。接着采用 `GradientTape` 跟踪所有运算以便后续求导数。最后遍历可训练参数列表查找与注意力模块有关联的部分，并打印出相应的均方误差梯度信息[^2]。