### Transformer 模型架构详解 #### 编码器-解码器框架 Transformer 的基础结构由编码器（Encoder）和解码器（Decoder）组成。这两个部分都采用了多层堆叠的方式构建，每一层内部又包含了多个子模块。这种设计使得模型能够捕捉输入序列中的长期依赖关系，并有效地处理变长的输入输出。 #### 自注意力机制 (Self-Attention Mechanism) 自注意力机制是 Transformer 中的关键组件之一。该机制允许每个位置上的单词关注整个句子中其他所有位置的信息，从而实现全局范围内的特征交互。具体来说，对于给定的一个查询向量 Q、键 K 和值 V ，计算过程涉及三个线性变换矩阵 Wq, Wk 和Wv 。通过这些操作可以获得加权求和后的上下文表示 C = softmax(QK^T / sqrt(d_k))V [^1]。 #### 前馈神经网络 (Feed Forward Neural Network) 除了自注意单元外，每层还配备了一个简单的两层前馈网络作为额外的功能增强手段。这个FFNN具有相同的维度 d_model 并且作用于各个位置独立地应用相同参数集下的非线性映射函数 f(x)=max(0,x)，这有助于增加表达能力而不破坏并行化优势。 #### 层归一化与残差连接 (Layer Normalization and Residual Connections) 为了稳定训练过程以及加速收敛速度，在每一个子层后面都会加上一个 LayerNorm 函数来进行标准化处理；同时采用跳跃链接方式将原始输入直接传递到下一层之前的位置处相加以形成最终输出 y=x+F(x)。 ```python import torch.nn as nn class SublayerConnection(nn.Module): """ A residual connection followed by a layer norm. Note for code simplicity the norm is first as opposed to last. """ def __init__(self, size, dropout): super(SublayerConnection, self).__init__() self.norm = nn.LayerNorm(size) self.dropout = nn.Dropout(dropout) def forward(self, x, sublayer): "Apply residual connection to any sublayer with the same size." return x + self.dropout(sublayer(self.norm(x))) ``` #### 多头注意力机制 (Multi-head Attention) 考虑到单一头部可能无法充分挖掘不同类型的关联模式，因此提出了 multi-head attention 方法来扩展单个attention head的表现力。简单理解就是把输入分成 h 组不同的低维空间里分别做一次普通的 scaled dot-product attention 计算后再拼接起来得到高纬度的结果 z=[z_1,...,z_h]。 ```python def clones(module, N): "Produce N identical layers." return nn.ModuleList([copy.deepcopy(module) for _ in range(N)]) class MultiHeadedAttention(nn.Module): def __init__(self, h, d_model, dropout=0.1): "Take in model size and number of heads." super(MultiHeadedAttention, self).__init__() assert d_model % h == 0 # We assume d_v always equals d_k self.d_k = d_model // h self.h = h self.linears = clones(nn.Linear(d_model, d_model), 4) self.attn = None self.dropout = nn.Dropout(p=dropout) def forward(self, query, key, value, mask=None): ... ``` #### 位置编码(Positional Encoding) 由于 transformer 完全抛弃了 RNN/LSTM 等顺序建模方法而仅依靠纯 feedforward 结构完成任务，则必须显式加入某种形式的位置信息以便让模型区分同一句话里的先后次序差异。为此引入了一种基于正弦波形的位置嵌入方案 PE(pos,2i)=sin⁡(pos/10000^(2i/dmodel)),PE(pos,2i+1)=cos⁡(pos/10000^(2i/dmodel))。 ---