### Transformer架构解析 Transformer是一种基于注意力机制的神经网络模型，它通过自注意力（Self-Attention）机制来捕捉输入序列中的全局依赖关系[^1]。以下是对其核心部分——图解生成机制、注意力机制以及整体模型结构的详细分析。 #### 1. 自注意力机制详解 自注意力机制允许模型在同一序列的不同位置之间分配不同的权重，从而更好地理解上下文语义。具体来说，对于给定的一个词向量 \(X\) ，计算过程如下： - **Query (Q)**, **Key (K)** 和 **Value (V)** 的生成： 输入矩阵经过线性变换得到 Query (\(W_Q\))、Key (\(W_K\)) 和 Value (\(W_V\)) 矩阵。 \[ Q = X W_Q,\ K = X W_K,\ V = X W_V \] - 计算注意力分数： 使用 Scaled Dot-Product Attention 方法计算得分，并对其进行 Softmax 归一化处理。 ```python attention_scores = softmax(Q @ K.T / sqrt(d_k)) ``` - 加权求和： 将归一化的注意力分数与对应的 Value 向量相乘并加总，最终获得输出表示。 ```python output = attention_scores @ V ``` 以上步骤构成了单头注意力的核心逻辑。 #### 2. 多头注意力机制 多头注意力扩展了单一头部的概念，在多个子空间上独立执行上述操作后再拼接起来形成更丰富的特征表达形式。这种设计有助于捕获不同粒度的信息交互模式。 #### 3. 编码器与解码器层 整个 Transformer 结构由编码器堆叠而成；每一层都包含了两个主要组件： - 前馈神经网络； - 层规范化（Layer Normalization），用于稳定训练过程中梯度变化情况。 同样地，解码器也遵循类似的构建方式但额外引入了一个 Masked Multi-head Attention 单元以防止当前位置看到未来时刻的数据内容。 #### 4. Positional Encoding 由于 Transformers 不具备像 RNN/LSTM 这样的固有顺序特性，因此需要显式加入位置编码(Position Embedding)，使得模型能够感知单词间的相对距离信息。 ```python import math def get_positional_encoding(max_len, d_model): pe = torch.zeros(max_len, d_model) position = torch.arange(0., max_len).unsqueeze(1) div_term = torch.exp(torch.arange(0., d_model, 2) * -(math.log(10000.) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) return pe.unsqueeze(0) ``` 此函数实现了经典的正弦波形的位置嵌入方案。 --- ###