### PyTorch 中 TransformerEncoderLayer 的 `norm_first` 参数默认值 在 PyTorch 中，`TransformerEncoderLayer` 类的 `norm_first` 参数用于指定是否先执行归一化操作再进行前馈计算。该参数的默认值为 `False`[^6]。这意味着，默认情况下，模型会遵循传统的顺序：先完成自注意力机制和前馈网络的操作，然后再应用层归一化。 如果设置 `norm_first=True`，则会在每个子层之前引入预归一化（Pre-Normalization），这通常有助于提高训练稳定性并加速收敛过程。 --- ### 导出到 ONNX 时遇到 `'TransformerEncoderLayer' object has no attribute 'norm_first'` 当尝试将包含 `TransformerEncoderLayer` 的模型导出至 ONNX 格式时，可能会出现如下错误： ``` 'TransformerEncoderLayer' object has no attribute 'norm_first' ``` 此问题的原因可能是由于所使用的 PyTorch 版本较低，而 `norm_first` 参数是在较新的版本中才被支持的功能。具体来说，在 PyTorch 1.7 及之前的版本中，`TransformerEncoderLayer` 并未提供 `norm_first` 参数选项；因此，即使代码中显式设置了该参数，旧版 PyTorch 也无法识别它[^7]。 为了修复这一问题，可以采取以下措施之一： #### 方法 1: 升级 PyTorch 到最新稳定版本 确保安装的是支持 `norm_first` 参数的 PyTorch 版本（至少需要 1.8 或更高）。可以通过以下命令升级 PyTorch： ```bash pip install --upgrade torch torchvision torchaudio ``` 或者针对特定 CUDA 配置： ```bash conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia ``` #### 方法 2: 修改代码逻辑以兼容低版本 如果不希望更新 PyTorch，则可以在初始化 `TransformerEncoderLayer` 实例时不传递 `norm_first` 参数。例如： ```python import torch.nn as nn encoder_layer = nn.TransformerEncoderLayer( d_model=512, nhead=8, dim_feedforward=2048, dropout=0.1 ) # 不传入 norm_first 参数 ``` 需要注意的是，这种做法会使模型行为恢复到传统模式（即不启用 Pre-Normalization）。 #### 方法 3: 自定义实现 Transformer Encoder Layer 对于更复杂的场景，可以选择手动重写 `TransformerEncoderLayer` 来模拟所需功能，并确保其能够顺利转换成 ONNX 模型。下面是一个简单的例子： ```python class CustomTransformerEncoderLayer(nn.Module): def __init__(self, d_model, nhead, dim_feedforward=2048, dropout=0.1, norm_first=False): super().__init__() self.self_attn = nn.MultiheadAttention(d_model, nhead, dropout=dropout) self.linear1 = nn.Linear(d_model, dim_feedforward) self.dropout = nn.Dropout(dropout) self.linear2 = nn.Linear(dim_feedforward, d_model) self.norm1 = nn.LayerNorm(d_model) self.norm2 = nn.LayerNorm(d_model) self.dropout1 = nn.Dropout(dropout) self.dropout2 = nn.Dropout(dropout) self.norm_first = norm_first def forward(self, src, src_mask=None, src_key_padding_mask=None): if self.norm_first: src_norm = self.norm1(src) attn_output, _ = self.self_attn(src_norm, src_norm, src_norm, attn_mask=src_mask, key_padding_mask=src_key_padding_mask) src += self.dropout1(attn_output) src_norm = self.norm2(src) ffn_output = self.linear2(self.dropout(F.relu(self.linear1(src_norm)))) src += self.dropout2(ffn_output) else: attn_output, _ = self.self_attn(src, src, src, attn_mask=src_mask, key_padding_mask=src_key_padding_mask) src = self.norm1(src + self.dropout1(attn_output)) ffn_output = self.linear2(self.dropout(F.relu(self.linear1(src)))) src = self.norm2(src + self.dropout2(ffn_output)) return src ``` 通过这种方式，您可以完全控制每一部分的行为，并避免因 API 更改而导致的问题。 --- ### 总结 - 默认情况下，`TransformerEncoderLayer` 的 `norm_first` 参数设为 `False`。 - 如果在导出到 ONNX 时发生属性缺失错误，可能是因为当前使用的 PyTorch 版本过低而不支持该参数。 - 推荐解决方案包括升级 PyTorch 至最新版本、调整代码移除对该参数的依赖，或自行设计替代模块来满足需求。 ---