### PyTorch `nn.BatchNorm1d` 使用方法 #### 函数定义与作用 `nn.BatchNorm1d` 是用于一维输入的批标准化层。该操作可以加速训练过程并提高模型稳定性，通过减少内部协变量偏移来实现这一点[^1]。 #### 参数说明 - **num_features**: 输入张量中的特征数目（即通道数）。对于形状为 `(N, C)` 或者 `(N, C, L)` 的输入来说就是指C。 - **eps**: 方差计算过程中加入的小常数值，默认值为 1e-5，用来防止除零错误。 - **momentum**: 动态均值和方差更新时使用的动量因子，默认值为 0.1。 - **affine**: 如果设置为 True，则此模块具有可学习的仿射参数 γ 和 β；如果设为 False 则不含有这些参数，默认是True。 - **track_running_stats**: 当其被置位 true (默认)，则会追踪运行期间遇到的数据集统计信息（mean and variance），否则不会保存任何统计数据，在推理阶段将使用 batch 统计数据而不是全局统计数据。 #### 示例代码展示 下面给出一个具体的例子来演示如何在实际项目中应用 `nn.BatchNorm1d`： ```python import torch import torch.nn as nn class SimpleNet(nn.Module): def __init__(self): super(SimpleNet, self).__init__() # 定义全连接层，假设输入维度为10，输出维度为20 self.linear_layer = nn.Linear(10, 20) # 应用BatchNorm1d到线性变换后的输出上 self.batch_norm = nn.BatchNorm1d(20) def forward(self, x): # 执行前向传播 out_linear = self.linear_layer(x) normalized_output = self.batch_norm(out_linear) activated_output = torch.relu(normalized_output) return activated_output # 测试网络结构 if __name__ == "__main__": net = SimpleNet() # 构建随机测试样本 test_input = torch.randn((32, 10)) # Batch size of 32 with feature dimensionality 10 result = net(test_input) print(result.shape) # 输出应为 [batch_size=32, num_features_after_batchnorm=20] ``` 上述代码创建了一个简单的神经网络类 `SimpleNet` ，其中包含了对输入执行一次线性转换以及随后的一次批量规范化处理。