### BERT Transformer Encoder 层工作原理 #### 输入表示 在BERT中，输入文本首先会被转换成一系列的标记（tokens）。对于每一个token，其对应的嵌入向量由三部分组成：Token Embeddings、Segment Embeddings以及Positional Encodings[^1]。 - **Token Embeddings** 是用来表示词汇表中的单词； - **Segment Embeddings** 用于区分不同句子，在单句任务中通常只有一种segment embedding； - **Positional Encodings** 则是为了给定位置上的token提供关于它在整个序列里的相对或绝对位置的信息。由于Transformer架构并不像RNN那样天然具备处理时间/空间顺序的能力，因此需要显式加入这种信息来辅助建模长期依赖关系[^4]。 #### 多头自注意力机制 进入Encoder之后，最核心的部分就是多头自注意力机制(Multi-head Self-Attention Mechanism)，这一过程允许模型并行关注来自同一序列的不同位置之间的关联性，从而更好地捕捉全局语义特征。具体来说： - 对于每个查询query q_i, 它会与其他所有的键key k_j计算相似度得分score(q_i,k_j), 得分越高意味着这两个元素之间存在较强的相关性； - 接着利用softmax函数将这些分数转化为概率分布形式，并以此作为权重去加权求和对应的价值value v_j得到最终输出z_i; - 这样一来，即使某个特定的位置i上被遮蔽掉了真实值，也可以基于周围其他未被遮挡的内容来进行推测恢复[^2]。 #### 前馈神经网络子层 经过上述操作后获得的新状态再传递至全连接前馈神经网络(Feed Forward Neural Network)进一步加工处理。该子层采用两层线性变换加上ReLU激活函数构成简单却有效的非线性映射单元[^3]。 ```python import torch.nn as nn class PositionwiseFeedForward(nn.Module): "Implements FFN equation." def __init__(self, d_model, d_ff, dropout=0.1): super(PositionwiseFeedForward, self).__init__() self.w_1 = nn.Linear(d_model, d_ff) self.w_2 = nn.Linear(d_ff, d_model) self.dropout = nn.Dropout(dropout) def forward(self, x): return self.w_2(self.dropout(F.relu(self.w_1(x)))) ``` #### 预训练目标——Masked LM 为了实现上下文敏感的语言表达能力，BERT采用了masked language modeling (MLM) 的预训练策略。即随机选取一定比例（通常是15%）的token进行掩盖(masking)，然后尝试根据剩余可见部分预测出原本应该是什么样的词语。这种方式使得模型能够在训练过程中学会充分利用前后文线索完成填空任务，进而达到深层次理解自然语言的目的。