### 自回归 Transformer 的工作原理 自回归 Transformer 是一种基于 Transformer 架构的解码器模型，它通过逐词预测序列中的下一个单词来生成文本。这种模型的核心特点是利用因果掩码机制，在每次前向传递过程中仅关注当前时刻之前的上下文信息[^1]。 #### 关键概念 - **因果掩码（Causal Masking）**: 在自回归模型中，为了确保预测第 \(t\) 个位置上的词时不依赖于未来的词语，引入了因果掩码矩阵。该矩阵会屏蔽掉所有位于当前位置之后的信息，从而强制模型只学习历史数据模式[^2]。 - **自注意力机制（Self-Attention Mechanism）**: 这一机制允许模型捕获输入序列内部不同部分之间的关系。对于每一个时间步长来说，都会计算相对于其他所有先前标记的相关程度得分，并据此加权求和得到最终表示向量。 #### 训练过程 在训练阶段，目标是最小化交叉熵损失函数，这可以通过标准随机梯度下降算法及其变体实现。具体而言，给定一对源句\(X=\{x_1,...,x_T\}\)以及对应的目标翻译句子Y={y₁,…, yₜ} ，我们希望最大化条件概率P(Y|X)[^3] 。 以下是简化版伪代码展示如何构建一个基本形式的自回归 transformer： ```python import torch.nn as nn class AR_Transformer(nn.Module): def __init__(self,vocab_size,d_model,n_heads,num_layers,max_len=512): super(AR_Transformer,self).__init__() self.embedding = nn.Embedding(vocab_size,d_model) self.pos_encoding = PositionalEncoding(d_model,max_len) decoder_layer = nn.TransformerDecoderLayer(d_model=d_model, nhead=n_heads,dim_feedforward=4*d_model,batch_first=True) self.decoder = nn.TransformerDecoder(decoder_layer,num_layers=num_layers) self.fc_out = nn.Linear(d_model,vocab_size) def forward(self,trg,trg_mask=None): embedded_trg=self.embedding(trg)*np.sqrt(self.d_model)+self.pos_encoding(trg.size()[1]) output=self.decoder(embedded_trg,tgt_mask=trg_mask) prediction=self.fc_out(output) return prediction def generate_square_subsequent_mask(sz): mask=torch.triu(torch.ones((sz,sz)),diagonal=1).bool() return ~mask # returns a lower triangular matrix filled with False values and upper part True indicating masked positions. ``` 上述代码片段定义了一个简单的自回归变压器类 `AR_Transformer` 和辅助函数用于创建三角形子后续遮罩 `generate_square_subsequent_mask()` [^4]. ### § 相关问题 § 1. 如何调整超参数以提高自回归 Transformer 模型的表现？ 2. 可否解释一下多头注意机制是如何增强传统单头注意的效果? 3. 使用哪些技术能够加速大规模预训练语言模型如 GPT 或者 T5 的推理速度？ 4. 如果想把图像作为输入代替文字串到类似的框架里去处理，应该采取什么策略呢? 5. 对比双向编码器表征BERT与这里的纯解码器结构有什么异同之处吗 ?