在Transformer架构中，编码器（Encoder）的输入是一个经过预处理的序列数据。具体而言，其输入通常是一个**词嵌入矩阵**，该矩阵由原始输入序列经过词嵌入（Word Embedding）和位置编码（Positional Encoding）两个步骤融合而成，其形状为 `(L, d_model)`，其中 `L` 代表序列长度，`d_model` 代表模型的隐藏维度 [ref_1]。 从技术实现维度分析，编码器的输入构建遵循以下严谨流程： **第一步：词嵌入** 将输入序列中的每个离散符号（例如单词、子词或字符）映射为一个高维的连续向量。假设词汇表大小为 `V`，模型维度为 `d_model`，则通过一个可训练的嵌入层（`nn.Embedding(V, d_model)`）实现此映射。例如，对于句子“I love AI”，其词嵌入矩阵 `E` 的形状为 `(3, d_model)`。 **第二步：位置编码** 由于Transformer的自注意力机制本身不具备感知序列顺序的能力，因此必须显式地注入位置信息。原始论文[ref_1]采用正弦和余弦函数生成绝对位置编码向量 `P`，其形状与词嵌入矩阵 `E` 相同。计算方式如下： ```python import torch import math def positional_encoding(seq_len, d_model): pe = torch.zeros(seq_len, d_model) position = torch.arange(0, seq_len).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2) * -(math.log(10000.0) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) return pe # 示例：生成长度为10，维度为512的位置编码 pe = positional_encoding(seq_len=10, d_model=512) print(pe.shape) # 输出: torch.Size([10, 512]) ``` **第三步：输入融合** 将词嵌入矩阵 `E` 与位置编码矩阵 `P` 直接相加，形成编码器的最终输入 `X`： `X = E + P` 这个过程确保了每个词向量不仅包含了其语义信息，还编码了其在序列中的具体位置。以下是一个完整的输入构建示例： ```python import torch.nn as nn # 参数定义 vocab_size = 10000 # 词汇表大小 d_model = 512 # 模型隐藏层维度 seq_len = 20 # 输入序列长度 batch_size = 32 # 批次大小 # 1. 定义嵌入层 embedding_layer = nn.Embedding(vocab_size, d_model) # 2. 模拟一个批次输入 (batch_size, seq_len) input_ids = torch.randint(0, vocab_size, (batch_size, seq_len)) # 3. 获取词嵌入 (batch_size, seq_len, d_model) token_embeddings = embedding_layer(input_ids) # 4. 获取位置编码 (seq_len, d_model) position_embeddings = positional_encoding(seq_len, d_model) # 5. 将位置编码广播到批次维度并相加，形成编码器输入 # 注意：位置编码与批次无关，因此需要扩展维度 encoder_input = token_embeddings + position_embeddings.unsqueeze(0) print(f"编码器输入形状: {encoder_input.shape}") # 输出: torch.Size([32, 20, 512]) ``` 在典型的Transformer应用场景中，例如机器翻译，编码器的输入是源语言句子（如英文）的嵌入序列。而在BERT等仅编码器（Encoder-Only）模型中，其输入则是经过特殊处理的文本序列（如加入[CLS]、[SEP]等特殊标记的句子对）。编码器接收此输入后，通过堆叠的多层自注意力（Self-Attention）和前馈神经网络（Feed-Forward Network）模块，将其转换为蕴含丰富上下文信息的隐藏状态序列，供解码器或下游任务使用。