### Attention机制在深度学习中的应用 注意力机制作为一种模拟人类认知过程中聚焦于特定信息的能力，在深度学习领域得到了广泛应用。这种机制允许模型根据不同输入的重要性分配不同的权重，从而增强对关键特征的学习能力[^3]。 #### 应用于自然语言处理(NLP) Bahdanau等人首次将注意力机制应用于机器翻译任务中，实现了编码器-解码器架构下的序列到序列映射，并显著提升了翻译质量。此后，该方法迅速扩展至其他NLP任务，如文本摘要、问答系统等。特别是2017年Google提出的Transformer模型完全依赖自注意力机制构建而成，进一步推动了这一领域的进步和发展[^2]。 #### 自注意力机制的工作原理 自注意力（Self-Attention），又称为内部注意力，是指在同一序列内计算各个位置之间的关联程度。具体来说，对于给定的一组词向量X={x_1,x_2,...,x_n}，通过线性变换得到查询Q、键K以及值V三个矩阵；之后利用softmax函数计算出各元素间的关系得分A=softmax(Q*K^T/√d_k)，最后加权求和获得新的表示形式C=A*V。此过程能够有效捕捉远距离词语间的语义联系，有助于解决长期依赖问题[^5]。 ```python import numpy as np import tensorflow as tf def scaled_dot_product_attention(q, k, v, mask=None): matmul_qk = tf.matmul(q, k, transpose_b=True) # (..., seq_len_q, seq_len_k) dk = tf.cast(tf.shape(k)[-1], tf.float32) logits = matmul_qk / tf.math.sqrt(dk) if mask is not None: logits += (mask * -1e9) attention_weights = tf.nn.softmax(logits, axis=-1) # (..., seq_len_q, seq_len_k) output = tf.matmul(attention_weights, v) # (..., seq_len_q, depth_v) return output, attention_weights class MultiHeadAttention(tf.keras.layers.Layer): def __init__(self, d_model, num_heads): super(MultiHeadAttention, self).__init__() self.num_heads = num_heads self.d_model = d_model assert d_model % self.num_heads == 0 self.depth = d_model // self.num_heads self.wq = tf.keras.layers.Dense(d_model) self.wk = tf.keras.layers.Dense(d_model) self.wv = tf.keras.layers.Dense(d_model) self.dense = tf.keras.layers.Dense(d_model) def split_heads(self, x, batch_size): """Split the last dimension into (num_heads, depth). Transpose the result such that the shape is (batch_size, num_heads, seq_len, depth) """ x = tf.reshape(x, (batch_size, -1, self.num_heads, self.depth)) return tf.transpose(x, perm=[0, 2, 1, 3]) def call(self, q, k, v, mask): batch_size = tf.shape(q)[0] q = self.wq(q) k = self.wk(k) v = self.wv(v) q = self.split_heads(q, batch_size) k = self.split_heads(k, batch_size) v = self.split_heads(v, batch_size) scaled_attention, attention_weights = scaled_dot_product_attention( q, k, v, mask) scaled_attention = tf.transpose(scaled_attention, perm=[0, 2, 1, 3]) concat_attention = tf.reshape(scaled_attention, (batch_size, -1, self.d_model)) output = self.dense(concat_attention) return output, attention_weights ```