### 计算Transformer模型的参数量 对于基于Decoder-only架构的Transformer模型而言，其参数量主要由多个部分组成，包括但不限于嵌入层、多头自注意力机制、前馈神经网络以及可能存在的其他组件。具体到每一部分： #### 嵌入层 嵌入层负责将输入token映射成向量表示形式。假设词表大小为V, 隐藏维度为d_model，则此部分参数数量大约为 V × d_model。 #### 多头自注意力机制 每个多头自注意力模块内部包含了三个线性变换矩阵Wq (Query), Wk (Key), Wv (Value)，如果设head数为h, 则单个头部尺寸dh=d_model/h。那么这部分总的参数数目约为 h×(3×d_model×dh+d_model)。 #### 前馈全连接层 每个子层之后通常会接有一个两层感知机作为FFN(feed-forward network)，其中第一层权重矩阵形状为(d_model,dff)，第二层则相反即(dff,d_model)。所以这一环节贡献出来的可学习参数总数大致等于 2×d_model×dff。 综上所述，在不考虑偏置项的情况下，整个解码器仅一层内的理论最大参数规模可以估算如下[^1]: \[ \text{Params} = V \times d_{\text{model}} + h \times (3 \times d_{\text{model}} \times d_h + d_{\text{model}}) + 2 \times d_{\text{model}} \times d_{\text{ff}} \] 当层数增加至L时，上述公式中的各项都需要乘以相应的层数因子L来获得最终的整体参数统计值。 另外值得注意的是实际应用中还会存在一些额外开销比如位置编码等特殊设计所带来的少量增量影响；而对于像BERT这样的Encoder-based模型来说，除了以上提到的基础组成部分外还需要加上针对特定下游任务所引入的新变量如NSP(next sentence prediction)与MLM(masked language modeling)[^4]。 ```python def calculate_transformer_params(vocab_size=30522, num_layers=12, hidden_dim=768, feedforward_dim=3072, heads=12): params_per_layer = ( vocab_size * hidden_dim + heads * ((3 * hidden_dim * (hidden_dim // heads)) + hidden_dim) + 2 * hidden_dim * feedforward_dim) total_params = num_layers * params_per_layer return total_params print(f'Total Parameters: {calculate_transformer_params():,}') ```