### Transformer 结构如何通过并行计算提升效率 #### 并行化能力差异 在处理序列数据方面，RNN由于其固有的顺序依赖特性，在每次更新隐藏状态时都必须等待前一时刻的状态完成计算。这种串行化的操作模式极大地限制了RNN的加速潜力[^1]。 相比之下，Transformer架构摒弃了传统的循环单元设计，转而采用自注意力机制来捕捉输入序列之间的关系。这一改变使得整个网络可以在不同位置上独立地执行相似的操作，从而允许更高效的批处理和平行运算[^3]。 #### 自注意力机制的优势 具体来说，自注意力层能够在单次前向传播过程中同时考虑所有词对间的关系，而不是像RNN那样逐个单词按序处理。这意味着对于长度为n的句子，理论上可以一次性评估所有的\( n \times n \)个相互作用，大大减少了所需的迭代次数[^4]。 此外，当涉及到大规模语料库或长时间序列的任务时，Transformers还可以利用GPU/TPU硬件资源实现高度并行的数据加载与预取优化，进一步缩短实际运行时间[^2]。 #### 批量大小的影响 值得注意的是，随着批量尺寸的增长，Transformer模型展现出更好的扩展性和更高的精度增长趋势；而对于相同条件下训练的传统RNN，则未能观察到类似的性能增益效果。 ```python import torch.nn as nn class SimpleRNN(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(SimpleRNN, self).__init__() self.rnn = nn.RNN(input_size, hidden_size, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) def forward(self, x): out, _ = self.rnn(x) # 需要依次处理每个时间步 return self.fc(out[:, -1, :]) class SimpleTransformer(nn.Module): def __init__(self, d_model, num_heads, seq_len, vocab_size): super(SimpleTransformer, self).__init__() from transformers import BertConfig, BertModel config = BertConfig(vocab_size=vocab_size, hidden_size=d_model, num_hidden_layers=1, num_attention_heads=num_heads, max_position_embeddings=seq_len) self.transformer = BertModel(config) def forward(self, x): outputs = self.transformer(inputs_embeds=x).last_hidden_state # 可以一次处理全部token return outputs.mean(dim=1) # 对应于全局平均池化或其他聚合方法 ```