### 论文 'Attention is all you Need' 的核心细节 论文《Attention is All You Need》由 Ashish Vaswani, Noam Shazeer, Niki Parmar 等多位研究者共同撰写，并发表于 Advances in Neural Information Processing Systems (NeurIPS)，第30卷，年份为2017年[^2]。 该论文提出了 Transformer 架构，这是一种基于自注意力机制（self-attention mechanism）的全新神经网络模型。与传统的循环神经网络（RNNs）和卷积神经网络（CNNs）相比，Transformer 不依赖于序列化计算，从而显著提高了并行性和效率。具体而言： - **自注意力机制**：通过允许模型在不同位置关注输入的不同部分，解决了传统 RNN 难以捕捉长距离依赖关系的问题。 - **编码器-解码器结构**：Transformer 使用堆叠的编码器层和解码器层来实现端到端的学习过程。每一层都包含了多头注意力模块（multi-head attention module）、前馈神经网络以及残差连接（residual connections）和归一化操作。 此外，这篇论文还展示了 Transformer 在机器翻译任务上的优越性能，相较于当时的主流方法——基于 LSTM 或 CNN 的模型，它不仅取得了更高的 BLEU 分数，而且训练时间大幅缩短。 以下是 Transformer 模型的一个简化版本代码示例，用于展示其基本构建方式： ```python import torch.nn as nn class MultiHeadedAttention(nn.Module): def __init__(self, num_heads, d_model): super().__init__() self.heads = nn.ModuleList([nn.Linear(d_model, d_model) for _ in range(num_heads)]) def forward(self, query, key, value): attentions = [] for head in self.heads: q = head(query) k = head(key).transpose(-2, -1) v = head(value) scores = q @ k / np.sqrt(q.size(-1)) weights = softmax(scores, dim=-1) context = weights @ v attentions.append(context) return torch.cat(attentions, dim=-1) class EncoderLayer(nn.Module): def __init__(self, size, self_attn, feed_forward, dropout): super(EncoderLayer, self).__init__() self.self_attn = self_attn self.feed_forward = feed_forward self.sublayer = clones(SublayerConnection(size, dropout), 2) self.size = size def forward(self, x, mask): x = self.sublayer[0](x, lambda x: self.self_attn(x, x, x, mask)) return self.sublayer[1](x, self.feed_forward) ``` 此段代码定义了一个简单的多头注意力机制类 `MultiHeadedAttention` 和一个编码器层类 `EncoderLayer`，它们构成了 Transformer 的基础构件之一。 #### 关键贡献总结 - 提出了全新的纯注意力机制驱动的架构； - 展现了卓越的语言建模能力及高效训练特性； - 成为了后续众多深度学习框架的基础理论支撑点。