### 如何在 Keras 中实现 Attention Rollout 为了理解如何在 Keras 中实现注意力展开 (Attention Rollout)，先要明白这一技术的核心概念。注意力展开旨在可视化神经网络中的注意力机制，从而帮助解释模型决策过程[^1]。 #### 构建带有注意力机制的模型 首先，在构建基于 Transformer 或者其他含有自注意力层的架构时，需确保可以访问每一层产生的注意力权重矩阵。下面是一个简单的例子来展示如何创建一个具有可获取注意力权重特性的 Transformer 编码器： ```python import tensorflow as tf from tensorflow.keras.layers import MultiHeadAttention, LayerNormalization, Dropout, Dense from tensorflow.keras.models import Model class CustomTransformerBlock(tf.keras.Model): def __init__(self, embed_dim, num_heads, ff_dim, rate=0.1): super(CustomTransformerBlock, self).__init__() self.att = MultiHeadAttention(num_heads=num_heads, key_dim=embed_dim) self.ffn = tf.keras.Sequential( [Dense(ff_dim, activation="relu"), Dense(embed_dim),] ) self.layernorm1 = LayerNormalization(epsilon=1e-6) self.layernorm2 = LayerNormalization(epsilon=1e-6) self.dropout1 = Dropout(rate) self.dropout2 = Dropout(rate) def call(self, inputs, training): attn_output, attention_weights = self.att(inputs, inputs, return_attention_scores=True) attn_output = self.dropout1(attn_output, training=training) out1 = self.layernorm1(inputs + attn_output) ffn_output = self.ffn(out1) ffn_output = self.dropout2(ffn_output, training=training) return self.layernorm2(out1 + ffn_output), attention_weights ``` 这段代码定义了一个自定义的变压器块 `CustomTransformerBlock` ，它不仅返回经过变换后的特征表示还返回了每个多头注意层计算得到的关注分数 `attention_weights` 。这些关注分数对于后续执行注意力展开至关重要。 #### 计算并累积注意力得分 一旦拥有了上述模型实例化对象以及训练好的权重文件之后，就可以开始收集所有编码器层上的注意力分布，并按照一定规则累加起来形成最终的整体注意力图谱。这里提供一种简化的方法来进行注意力展开操作： ```python def compute_rollout(attentions, start_layer=0): result = attentions[start_layer] for i in range(start_layer+1, len(attentions)): result = np.matmul(result, attentions[i]) return result ``` 此函数接收来自多个层次结构的一系列注意力张量列表作为输入参数，并通过逐层相乘的方式逐步聚合它们之间的关系直到最后一层为止。这样做的目的是模拟信息在整个序列长度范围内流动的过程，进而揭示哪些位置之间存在较强关联性。 #### 可视化结果 最后一步就是利用 Matplotlib 库或者其他绘图工具将获得的结果转换成易于解读的形式展现出来。例如绘制热力图可以帮助直观地看到不同时间步间的重要性程度差异： ```python import matplotlib.pyplot as plt import seaborn as sns; sns.set_theme() # 假设 rollout_att 是之前调用compute_rollout() 得到的结果 plt.figure(figsize=(8, 6)) sns.heatmap(abs(rollout_att).numpy(), cmap='viridis') plt.title('Attention Rollout Heatmap', fontsize=14) plt.show() ``` 以上就是在 Keras 上面实现注意力展开的一个基本流程概述。值得注意的是实际应用场景可能会更加复杂一些，可能涉及到更多细节调整和优化措施以适应特定任务需求。