### Transformer架构与BERT BASE/LARGE的前馈网络大小、注意力头数及参数量对比 #### 前馈网络大小 Transformer架构中的前馈网络层由两个线性变换组成，中间通过ReLU激活函数连接。其隐藏维度通常设置为较大的数值以增强表达能力。对于标准的Transformer模型，前馈网络的隐藏维度通常是词嵌入维度的四倍[^1]。 在具体的实现中，BERT BASE和BERT LARGE都遵循这一设计原则。然而，两者的具体配置有所不同： - **BERT BASE**: 隐藏尺寸（hidden size）为768，因此前馈网络的内部维度为3072 (即 \(4 \times 768\))。 - **BERT LARGE**: 隐藏尺寸增加到1024，对应的前馈网络内部维度则为4096 (即 \(4 \times 1024\))。 #### 注意力头数 自注意力机制是Transformer的核心组成部分之一，而多头注意力允许模型从不同的表示子空间学习特征。标准Transformer模型通常采用8个注意力头。相比之下： - **BERT BASE**: 使用12个注意力头来捕获更多细粒度的信息。 - **BERT LARGE**: 进一步扩展至16个注意力头，从而增强了模型对复杂关系的学习能力。 #### 参数量对比 参数的数量直接影响着模型的容量以及训练所需的计算资源。以下是三者之间的比较： - **标准Transformer**: 如果假设每层具有相同的结构，则单层的标准Transformer大约包含约65M参数（基于原始论文设定）。整个模型如果堆叠6层编码器加6层解码器的话，总参数约为3亿左右。 - **BERT BASE**: 叠加了12层变压器块，总的参数量接近1.1亿。 - **BERT LARGE**: 同样叠加了24层变压器块，但由于更大的隐藏状态向量和其他调整，最终参数量跃升至超过3.4亿。 ```python # 计算各版本的大致参数量 def calculate_parameters(hidden_size, num_heads, layers): attention_params = hidden_size * hidden_size * 2 + hidden_size * 2 # QKV矩阵加上bias项 ffnn_params = hidden_size * (hidden_size * 4) * 2 + (hidden_size * 4) * 2 # FFN权重和偏置 layer_norm_and_others = hidden_size * 2 # 层归一化及其他少量参数 total_per_layer = attention_params * num_heads / num_heads + ffnn_params + layer_norm_and_others return int(total_per_layer * layers) print(f"Standard Transformer Parameters: {calculate_parameters(512, 8, 12)}") print(f"BERT BASE Parameters: {calculate_parameters(768, 12, 12)}") print(f"BERT LARGE Parameters: {calculate_parameters(1024, 16, 24)}") ``` 以上代码展示了如何估算不同变体下的理论参数规模。