### Transformer 模型中的向量训练方法 在Transformer模型中，输入和输出均通过嵌入向量表示。这些向量经过多层自注意力机制和前馈神经网络传递，在此期间不断更新其表征[^1]。 #### 嵌入与位置编码 为了使模型能够理解序列的位置信息，除了词嵌入外还引入了位置编码。位置编码可以是固定的正弦函数形式或是可学习的参数。这种设计允许模型区分不同顺序下的相同单词组合，从而增强对上下文的理解能力[^2]。 ```python import numpy as np def get_position_encoding(seq_len, d_model): position_enc = np.array([ [pos / np.power(10000, 2 * (i // 2) / d_model) for i in range(d_model)] for pos in range(seq_len)]) position_enc[:, 0::2] = np.sin(position_enc[:, 0::2]) # apply sin to even indices position_enc[:, 1::2] = np.cos(position_enc[:, 1::2]) # apply cos to odd indices return position_enc ``` #### 自注意力建模 自注意力机制让每个位置上的词语都能关注整个句子的信息，并据此调整自身的特征表达。具体来说，就是计算查询（Query）、键（Key）以及值（Value），并通过softmax操作得到权重分布来加权求和获得最终输出。 ```python import torch.nn.functional as F class MultiHeadAttention(nn.Module): def forward(self, query, key, value, mask=None): scores = torch.matmul(query, key.transpose(-2, -1)) \ / math.sqrt(key.size(-1)) if mask is not None: scores = scores.masked_fill(mask == 0, -1e9) p_attn = F.softmax(scores, dim=-1) output = torch.matmul(p_attn, value) return output, p_attn ``` #### 层归一化技术 采用层归一化有助于稳定梯度传播，加快收敛速度并提高泛化性能。它是在每一层内部沿着最后一个维度做标准化处理，而不是像批归一化那样依赖于mini-batch内的统计特性[^4]。 ```python from torch import nn layer_norm = nn.LayerNorm(normalized_shape=[d_model]) output = layer_norm(output) ``` #### 预训练与微调 预训练阶段通常基于大量无标签语料完成通用语言表示的学习；而在面对特定任务时，则需进一步执行微调工作——即利用少量有标注样本对已有的参数做出适当修正，以便更好地适应新场景的需求[^5]。