### BERT及Transformer模型的参数量计算 对于BERT和通用Transformer架构而言，其参数量主要由嵌入层(embedding layer)、编码器(encoder stack)中的自注意力机制(self-attention mechanism)，以及前馈神经网络(feed-forward neural network, FFNN)构成。具体来说： - **Embedding Layer**: 嵌入矩阵尺寸取决于词汇表大小(Vocabulary Size,V) 和词向量维度(Word Embedding Dimension,Dw), 参数数量为V×Dw。 - **Self-Attention Mechanism**: 自注意力模块内部涉及查询(Query,Q)、键(Keys,K)、值(Values,V)三个线性变换权重矩阵Wq,Wk,Wv，假设隐藏状态维度(Hidden State Dimension,Dh)=Dw，则单个头(head)下的Q/K/V转换矩阵各需Dh²个参数；若有Nhead个平行头部(parallel heads)，则总共有3*Nhead*Dh²个参数用于这些映射操作[^1]。 - **Feed Forward Networks (FFNs)**: 每一层内的两层全连接层分别具有输入到中间表示(Input-to-Middle,Mi)与中间表示再到输出(Middle-to-Output,Mo)两种不同的权重组件Wi→Mi和WMo→O。通常情况下，中间层宽度Intermediate Width(Dint)>Dh，所以每层FFN贡献了2*Dh*Dint+Dint个额外可学习参数[^4]。 综上所述，在不考虑偏置项和其他可能存在的组件的前提下，整个Encoder部分（含多层Stacked Encoders）的理论最大参数数目大约等于上述各项之和乘以层数Layers Number(Nlayer)。 ```python total_params = V * Dw + N_head * 3 * Dh**2 + N_layer * (2 * Dh * D_int + D_int) ``` ### 显存占用关系 关于显存在训练期间被消耗的情况，除了存储模型本身的参数外，还需要考虑到梯度缓存(gradients storage)、优化器的状态(optimizer states)等因素。特别是当涉及到Decoder Only类型的Transformers时，还会因为KV Cache的存在而进一步增加瞬时间所需的VRAM空间需求。 此外，不同世代的GPU硬件特性也会显著影响实际可用的有效显存量Effective VRAM Capacity(EVC)。例如从Volta到最新的Ampere架构，不仅提升了基础规格(Base Specifications)，而且引入了一系列专门针对深度学习工作负载优化的新技术New Technologies For DL Workloads，从而间接改善了EVC的表现[^3]。 最后值得注意的是，即使是在相同的物理条件下，由于所使用的软件栈Software Stack(Such as PyTorch/TensorFlow versions and CUDA/cuDNN configurations)差异也可能造成最终表现上的区别[^2]。