Transformer里‘丢掉token’和加位置编码这两步，为啥要一起考虑？

在讨论drop token与position embedding时，可以理解这两个概念分别作用于模型的不同阶段并有不同目的。 1. drop token是指在一个注意力机制或Transformer架构中，在构建mask矩阵的过程中，通过某种策略（如随机抽样）决定某个token不能看见其它某些特定的token。这种做法有助于模拟更广泛的上下文依赖关系，并防止模型过拟合到训练集中存在的模式上[^1]。 2. position embedding则用于表示输入序列中各元素的位置信息。由于transformer模型本身并不具备感知顺序的能力，因此需要额外添加位置编码以告知模型各个单词在整个句子中的相对或绝对位置。这一步骤通常是在获取了基础的词嵌入之后完成的；即先取得每个词语的基础向量表达(sentence embedding 和 token embedding)，再加上相应的位置向量(position embedding)形成最终送入网络层之前的完整特征向量。结合上述两点来看，“drop token + position embedding”的过程实际上指的是：在对某一时刻下的tokens应用dropout操作的同时考虑其所在位置的影响因素，从而使得即使部分连接被阻断的情况下仍能保持对于整体结构布局的基本认识。 ```python # 示例代码片段展示如何实现Drop Token和Position Embedding相结合的概念 class CustomEmbeddings(nn.Module): def __init__(self, vocab_size, d_model, max_len=512): super().__init__() self.token_embeddings = nn.Embedding(vocab_size, d_model) self.position_embeddings = nn.Parameter(torch.zeros(1,max_len,d_model)) def forward(self,x, mask=None): seq_len = x.size()[1] if mask is not None: # 对应drop token逻辑 masked_x = torch.where(mask.bool(),x,-1) tok_embds = self.token_embeddings(masked_x) pos_embds_slice=self.position_embeddings[:,:seq_len,:] embeddings_with_pos=tok_embds+pos_embds_slice return embeddings_with_pos ```

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 Python里生成线性调频信号有哪几种常用方法？各自有什么特点？