### Transformer架构概述 Transformer是一种基于自注意力机制（self-attention mechanism）设计的神经网络架构，最初由论文《Attention Is All You Need》提出[^3]。该架构的核心目标是解决序列到序列的任务，例如机器翻译、文本摘要等，并能有效应对长期依赖问题。 #### 架构组成 Transformer主要由编码器（Encoder）和解码器（Decoder）两部分构成。编码器负责接收输入数据并生成上下文表示，而解码器则利用这些表示来生成输出序列。以下是其核心组成部分： 1. **多头自注意力机制（Multi-head Self-Attention Mechanism）** 多头自注意力机制允许模型在同一时间关注输入的不同位置，从而捕获更丰富的上下文信息。具体来说，它通过计算查询（Query）、键（Key）和值（Value）之间的相似度来进行加权求和操作[^3]。 2. **前馈神经网络（Feed-Forward Networks, FFN）** 前馈神经网络作为Transformer中的另一重要模块，主要用于引入非线性变换能力。FFN通常包含两个全连接层以及中间的ReLU激活函数[^4]。 3. **残差连接与归一化（Residual Connections and Normalization）** 为了缓解深层网络训练困难的问题，在每一层之后都加入了残差连接和层归一化技术，这有助于加速收敛过程并提高泛化性能[^3]。 4. **位置编码（Positional Encoding）** 因为标准的自注意机制本身并不具备顺序意识，所以需要额外加入绝对或者相对的位置信息给定长度序列内的各个token赋予特定意义[^3]。 #### 工作流程描述 当执行诸如英语到法语这样的翻译任务时： - 输入句子会被分割成单词或子词单元； - 这些单元经过嵌入层转换成为固定维度向量形式的同时附加相应位置编码； - 接着送入多个堆叠起来的encoder layers里依次处理得到最终隐藏状态表达； - Decoder接受来自前面步骤产生的context vectors再加上target language start token逐步预测下一个最可能产出的目标词汇直到遇到结束标志为止[^5]。 ```python import torch.nn as nn class PositionwiseFeedForward(nn.Module): def __init__(self, d_model, d_ff, dropout=0.1): super(PositionwiseFeedForward, self).__init__() self.w_1 = nn.Linear(d_model, d_ff) self.w_2 = nn.Linear(d_ff, d_model) self.dropout = nn.Dropout(dropout) def forward(self, x): return self.w_2(self.dropout(torch.relu(self.w_1(x)))) ``` 以上代码片段展示了一个简单的实现例子——即如何定义position-wise feed-forward network结构的一部分逻辑[^4]。