在Transformer模型的训练阶段，整个序列的预测概率通过**交叉熵损失函数**被系统性地用于计算模型预测与真实标签之间的差异，从而驱动模型参数的优化[ref_1]。其核心在于将序列中每个时间步的预测概率分布与对应的真实词元（通过one-hot编码表示）进行比较，并对所有时间步的损失进行聚合。 具体流程如下：给定一个长度为 `T` 的输入序列 `x_1, x_2, ..., x_T`，模型的自回归训练目标是预测序列的下一个词元。在每一步 `t`，模型的输入是 `x_1, ..., x_t`，期望的输出（标签）是 `x_{t+1}`。解码器（或仅解码器模型，如GPT）的输出经过Linear层和Softmax层后，会生成一个在词汇表 `V` 上的概率分布 `P_t = [p_t^1, p_t^2, ..., p_t^{|V|}]`，其中 `p_t^k` 表示模型预测在位置 `t` 下一个词是词汇表中第 `k` 个词的概率[ref_1]。对于每一个时间步 `t`，其真实标签 `y_t` 是 `x_{t+1}` 对应的one-hot向量（即仅在 `x_{t+1}` 对应的索引位置为1，其余为0）。 计算单个时间步 `t` 的损失使用的是**交叉熵损失**，其公式为： `L_t = -log(P_t[y_t])` 其中 `P_t[y_t]` 是模型预测的概率分布 `P_t` 中，在真实词元 `y_t` 对应索引位置上的概率值。这个损失函数的特点是，模型对正确词元赋予的概率越高（`P_t[y_t]` 越接近1），`-log(P_t[y_t])` 的值就越小（趋近于0）；反之，如果模型预测正确词元的概率很低，损失值就会很大。 为了对整个序列的预测质量进行整体评估，标准的做法是计算**所有有效时间步损失的平均值**。对于序列 `x_1, ..., x_T`，总损失 `L` 通常定义为： `L = (1 / (T-1)) * Σ_{t=1}^{T-1} L_t` 这里 `T-1` 是因为对于长度为 `T` 的序列，最多只能进行 `T-1` 次下一个词的预测。这种平均操作确保了损失值与序列长度无关，使得不同长度的批次数据可以一起训练。 以下是一个简化的PyTorch代码示例，展示了如何从模型输出计算序列损失： ```python import torch import torch.nn.functional as F # 假设模型输出 (logits) 形状为 [batch_size, seq_len, vocab_size] # 例如：batch_size=2, seq_len=5, vocab_size=10000 logits = torch.randn(2, 5, 10000) # 假设对应的目标标签形状为 [batch_size, seq_len] # 目标标签是每个位置的下一个词ID，对于长度为5的序列，通常有4个有效预测（忽略最后一个位置或使用padding） # 这里简化处理，假设所有位置都需要预测 targets = torch.randint(0, 10000, (2, 5)) # 1. 计算Softmax概率（通常在损失函数内部完成） # probabilities = F.softmax(logits, dim=-1) # 2. 直接使用交叉熵损失函数，它内部结合了LogSoftmax和NLLLoss # 设置 reduction='none' 以获取每个位置的损失 loss_per_token = F.cross_entropy(logits.view(-1, logits.size(-1)), targets.view(-1), reduction='none') # 3. 将每个位置的损失重新整形为 [batch_size, seq_len] loss_per_token = loss_per_token.view(targets.shape) # 4. 创建一个注意力掩码（padding mask），用于忽略填充位置（例如，如果有效序列长度不同） # 假设两个样本的有效长度分别为4和3 mask = torch.tensor([[1, 1, 1, 1, 0], # 第一个样本，前4个位置有效，最后一个位置是padding [1, 1, 1, 0, 0]]) # 第二个样本，前3个位置有效 loss_masked = loss_per_token * mask # 5. 计算整个批次所有有效token的平均损失 total_loss = loss_masked.sum() / mask.sum() print(f"每个token的损失: \n{loss_per_token}") print(f"掩码: \n{mask}") print(f"最终的平均损失: {total_loss.item()}") ``` 在这个过程中，Linear层负责生成每个词元的原始分数（logits），而Softmax层则将这些分数转换为概率分布，这正是交叉熵损失函数所要求的输入形式[ref_1]。模型通过反向传播算法，根据计算出的总损失 `L` 来更新其所有参数（包括Embedding层、注意力层、前馈网络层以及最终的Linear层权重 `W` 和偏置 `b`），使得模型在下一次面对类似上下文时，能够为正确的下一个词元分配更高的概率。 这种基于整个序列预测概率的损失计算方式，迫使模型不仅要学习局部词元间的依赖关系，还要捕捉长距离的上下文信息，从而生成连贯且符合语法的序列。