### Transformer中的注意力机制 Transformer模型的核心在于其采用的自注意力机制（Self-Attention Mechanism），这是一种用于捕捉序列中长距离依赖关系的技术[^1]。通过自注意力机制，模型能够一次性处理整个输入序列，而无需像传统循环神经网络那样逐词处理。这种方法不仅提高了并行化程度，还降低了计算复杂度。 #### 自注意力机制的工作原理 在自注意力机制中，每个位置的表示会综合考虑其他所有位置的信息。具体来说，给定一个输入序列 \(X\)，模型会生成三个矩阵：查询矩阵（Query）、键矩阵（Key）和值矩阵（Value）。这些矩阵通过线性变换得到，并利用缩放点积注意力（Scaled Dot-Product Attention）计算权重分布： \[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V \] 其中，\(d_k\) 是键向量的维度，用于防止点积过大而导致梯度消失或爆炸问题[^2]。 为了进一步增强表达能力，Transformer引入了多头注意力（Multi-Head Attention）。该技术允许模型在同一层中关注不同的子空间特征，从而捕获更丰富的上下文信息。 ```python import torch import math def scaled_dot_product_attention(query, key, value): d_k = query.size(-1) scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(d_k) attn_weights = torch.softmax(scores, dim=-1) output = torch.matmul(attn_weights, value) return output, attn_weights ``` ### BERT及其与Transformer的关系 BERT是一种双向编码器表征模型，基于Transformer架构构建而成[^3]。它的主要创新之处在于提出了Masked Language Model (MLM) 和 Next Sentence Prediction (NSP) 两种预训练目标。这使得BERT能够在大规模无标注语料库上进行有效的参数初始化，进而迁移到各种下游任务中取得优异成绩。 相比于单向的语言模型如GPT系列，BERT由于采用了双向Transformer结构，在理解句子内部复杂的语法结构方面更具优势；然而这也带来了训练难度增加等问题，比如需要解决“遮蔽单词预测”带来的噪声干扰等挑战。 ```python from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') inputs = tokenizer("Hello world!", return_tensors="pt") outputs = model(**inputs) last_hidden_states = outputs.last_hidden_state print(last_hidden_states.shape) # 输出形状为(batch_size, sequence_length, hidden_dim) ```