### Decoder端并行化支持情况 Decoder模块在训练阶段确实支持并行化处理[^1]。具体来说，在Self-Attention和Encoder-Decoder Attention这两个子层中，由于这些操作本质上是矩阵乘法运算，因此能够有效地利用硬件资源进行并行计算。 对于Embedding和Feed Forward部分，因为各token间不存在相互依赖的关系，所以同样可以实现完全的并行化处理。这种设计使得整个解码过程不仅效率更高，而且更易于扩展到大规模的数据集上。 ```python import torch.nn as nn class ParallelDecoderLayer(nn.Module): def __init__(self, d_model, num_heads, feedforward_dim, dropout=0.1): super(ParallelDecoderLayer, self).__init__() # Self-attention layer with parallel processing capability self.self_attn = nn.MultiheadAttention(d_model, num_heads) # Encoder-decoder attention layer also supports parallel execution self.enc_dec_attn = nn.MultiheadAttention(d_model, num_heads) # Feed forward network can be fully paralleled across tokens self.feed_forward = nn.Sequential( nn.Linear(d_model, feedforward_dim), nn.ReLU(), nn.Dropout(dropout), nn.Linear(feedforward_dim, d_model) ) def forward(self, tgt, memory, tgt_mask=None, memory_mask=None): # Perform self-attention on target sequence (parallelized over all positions) attn_output, _ = self.self_attn(tgt, tgt, tgt, attn_mask=tgt_mask) # Apply encoder-decoder attention using the output from previous step and encoded input enc_dec_attn_output, _ = self.enc_dec_attn(attn_output, memory, memory, key_padding_mask=memory_mask) # Pass through feed-forward layers which operate independently per position/token ff_output = self.feed_forward(enc_dec_attn_output) return ff_output ``` 上述代码展示了如何构建一个支持并行化的Decoder层。通过使用PyTorch中的`MultiheadAttention`组件来实现在不同位置上的自注意机制和平行于编码器输出之间的交叉关注力计算；而前馈神经网络则进一步增强了模型表达能力的同时保持了高度可并发执行的特点。