### Embedding层 Embedding层是将离散的输入（如单词或令牌）映射到连续的向量空间。在Transformer模型中，每个输入token（通常是单词或子词）都会通过embedding层被转换为一个固定大小的向量，这个向量捕获了token的语义和句法信息。Embedding操作可将one - hot词向量转换为稠密的语义向量，其数学表示为：输入是one - hot向量$e_i = [0,...,1,...,0]$，操作是$v = E^T · e_i$ （这里的$E$是嵌入层的参数矩阵），输出是词向量$v = E[i]$ （第$i$行，$v$的形状和$E$相同） [^1][^3]。 ### Transformer层 Transformer层是Transformer模型的核心组成部分，它由多头自注意力机制（Multi - Head Self - Attention）和前馈神经网络（Feed - Forward Network）构成。多头自注意力机制允许模型在处理序列时，并行地关注序列中不同位置的信息，从而捕获序列中的长距离依赖关系；前馈神经网络则对自注意力机制的输出进行进一步的非线性变换。在BERT模型中，编码器层通过堆叠的Transformer模块捕获双向上下文信息 [^2]。 ```python # 以下是一个简单的Transformer层的PyTorch实现示例 import torch import torch.nn as nn class TransformerLayer(nn.Module): def __init__(self, d_model, nhead, dim_feedforward): super(TransformerLayer, self).__init__() self.self_attn = nn.MultiheadAttention(d_model, nhead) self.linear1 = nn.Linear(d_model, dim_feedforward) self.dropout = nn.Dropout(0.1) self.linear2 = nn.Linear(dim_feedforward, d_model) self.norm1 = nn.LayerNorm(d_model) self.norm2 = nn.LayerNorm(d_model) self.dropout1 = nn.Dropout(0.1) self.dropout2 = nn.Dropout(0.1) def forward(self, src): src2 = self.self_attn(src, src, src)[0] src = src + self.dropout1(src2) src = self.norm1(src) src2 = self.linear2(self.dropout(torch.relu(self.linear1(src)))) src = src + self.dropout2(src2) src = self.norm2(src) return src ```