### Transformer Encoder 结构详解 Transformer 的 Encoder 是一种基于自注意力机制（Self-Attention Mechanism）的神经网络架构，其设计目的是为了更好地捕捉序列数据之间的依赖关系。以下是关于 Transformer Encoder 的组成和工作原理的具体说明。 #### 1. 输入表示 在 Transformer 中，输入通常是由词嵌入向量组成的矩阵。然而，仅依靠词嵌入无法区分相同单词的不同位置信息。为此，在输入阶段会加入 **位置编码（Positional Encoding）** 来显式地引入顺序信息[^1]。 位置编码可以采用简单的整数编号形式，也可以通过更复杂的正弦/余弦函数来计算： \[ PE_{(pos,2i)} = \sin(pos / 10000^{2i/d}) \] \[ PE_{(pos,2i+1)} = \cos(pos / 10000^{2i/d}) \] 其中 \( pos \) 表示词语的位置索引，\( i \) 表示维度索引，而 \( d \) 则代表模型隐藏层大小。 最终得到的输入张量为原始词嵌入加上对应的位置编码后的结果。 --- #### 2. 编码器堆叠结构 整个 Transformer Encoder 部分由多个相同的子模块依次叠加而成，默认层数一般设置为6层。每一层都包含两个主要部分：一个多头自注意力机制（Multi-head Self-Attention Layer），以及一个全连接前馈网络（Feed Forward Network）。这两个组件之间还加入了残差连接与归一化操作以提升训练效果稳定性。 ##### （1）多头自注意力机制 (Multi-Head Attention) 该模块的核心功能在于让模型能够并行学习不同表征空间内的特征关联度。具体来说，它先分别生成 Query、Key 和 Value 向量集合；接着利用缩放点积法计算权重分布，并据此加权求和获得上下文感知的新表达形式。公式如下所示： \[ \text{Attention}(Q,K,V)=softmax(\frac {QK^\top}{\sqrt{d_k}})V \] 这里需要注意的是，“multi-head”的含义是指重复执行多次上述过程并将各分支的结果拼接起来作为输出传递至下一层级。 ```python import tensorflow as tf def scaled_dot_product_attention(q, k, v, mask): matmul_qk = tf.matmul(q, k, transpose_b=True) # Q*K^T dk = tf.cast(tf.shape(k)[-1], tf.float32) logits = matmul_qk / tf.math.sqrt(dk) if mask is not None: logits += (mask * -1e9) attention_weights = tf.nn.softmax(logits, axis=-1) output = tf.matmul(attention_weights, v) # softmax(Q*K^T)*V return output, attention_weights ``` ##### （2）前馈神经网络 (Feed Forward Networks) 紧接着 Multi-Head Attention 层之后是一个标准两层线性变换构成的小型 FFN 模块。它的作用是对来自前面步骤的数据进一步加工提取高层次抽象特性。定义如下: \[ FFN(x) = max(0,xW_1+b_1)W_2 + b_2 \] 实际应用中往往会对中间隐含单元数量设定较大数值以便增强表达能力。 --- #### 3. 归一化与跳跃链接 除了核心运算外，每一步都会附加 Batch Normalization 或者 Layer Normlization 处理确保梯度平稳流动减少爆炸消失等问题发生几率。另外还有短路反馈路径存在使得深层网络更容易优化收敛。 --- ### 总结 综上所述，Transformer Encoder 主要依托于强大的自我关注能力和逐层递进式的非线性映射完成复杂模式识别任务。这种创新性的设计理念极大推动了自然语言处理领域的发展进程。