### 如何在Transformer模型中按层保存权重 #### 使用PyTorch保存各层权重 为了在PyTorch中的Transformers模型里保存每一层的权重，可以采用如下方法： 通过访问`state_dict()`函数来获取整个网络的状态字典。这个状态字典包含了所有的可学习参数以及它们对应的张量。对于想要单独保存某一层或多层的权重，则可以从该字典中提取特定键值对并将其序列化到文件。 下面是一个简单的例子展示如何实现这一点: ```python from transformers import BertModel, BertConfig # 加载预训练模型 (这里以BERT为例) model_name_or_path = "bert-base-uncased" config = BertConfig.from_pretrained(model_name_or_path) model = BertModel.from_pretrained(model_name_or_path) # 获取模型的所有参数名及其对应张量 state_dict = model.state_dict() for layer_num in range(config.num_hidden_layers): # 构建当前编码器层的名字前缀 prefix = f'encoder.layer.{layer_num}.' # 创建一个新的子字典用于存储单个编码器层的数据 single_layer_state_dict = {k.replace(prefix,''): v for k,v in state_dict.items() if k.startswith(prefix)} # 将此层的参数保存至磁盘上的独立二进制文件 torch.save(single_layer_state_dict, f'{prefix}_weights.pth') ``` 上述代码片段展示了怎样遍历每一个变压器编码器层，并将这些层各自的权重组件导出为`.pth`格式的文件[^1]。 #### 使用TensorFlow保存各层权重 而在TensorFlow框架下操作时，可以通过调用Keras API下的`get_weights()`方法获得指定层的对象列表形式表示的权重矩阵；接着再把这些数据写入外部持久化的储存介质之中。具体做法如下所示： ```python import tensorflow as tf from transformers import TFBertModel # 初始化TF-BERT实例 tf_model = TFBertModel.from_pretrained('bert-base-cased') layers_to_save = ['embeddings', 'pooler'] + [f'transformer/layer_{i}' for i in range(tf_model.config.num_hidden_layers)] for name in layers_to_save: weights = tf_model.get_layer(name).get_weights() with open(f"{name}.npy", 'wb') as f: np.savez_compressed(f,*weights) ``` 这段脚本说明了如何针对不同类型的组件（嵌入层、池化层和多头自注意力机制构成的标准变换器结构）分别执行读取与记录其内部数值的过程[^2]。