### PyTorch 中 `nn` 模块的功能与用法 #### 什么是 `nn` 模块？ PyTorch 的 `nn` 模块是一个用于构建神经网络的核心组件集合。它提供了各种层（layers）、损失函数（loss functions）以及优化器接口，使得开发者可以轻松定义复杂的模型结构并高效训练这些模型。 #### 主要功能 1. **Layer 定义** 使用 `torch.nn.Module` 可以创建自定义的神经网络层或整个网络架构。通过继承该类，并实现其方法（如 `forward()`），用户能够灵活设计自己的模型[^1]。 2. **内置 Layers 和 Functions** - 常见的卷积操作可以通过 `torch.nn.Conv2d`, `torch.nn.Linear` 等来完成。 - 非线性激活函数有 `torch.nn.ReLU()`, `torch.nn.Sigmoid()` 等。 - 归一化技术由 `torch.nn.BatchNorm2d` 提供支持。 此外还有池化层 (`MaxPool2d`)、Dropout 层等工具可供调用[^2]。 3. **Loss Function 支持** 训练过程中计算误差需要用到不同的损失函数，比如交叉熵损失 `CrossEntropyLoss` 或均方差损失 `MSELoss`，它们都属于 `nn` 下的一部分。 4. **Optimizers Integration** 虽然严格意义上讲 optimizers 并不属于 nn namespace 内部，但是两者紧密配合工作，在实际应用中经常一起提及。例如 Adam optimizer 是经常见到的选择之一。 5. **Model Inspection Tools** 当前版本还增加了 profiling 功能帮助分析性能瓶颈所在位置。如下所示代码片段展示了如何利用 profiler 来记录特定时间段内的运行情况[^3]: ```python with profile( activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA], schedule=torch.profiler.schedule(wait=1,warmup=1,active=2), on_trace_ready=trace_handler ) as p: for idx in range(8): model(inputs) p.step() ``` 6. **Module Capturing Rules** 值得注意的是只有那些被直接赋值给父级 module 对象下的子modules 才会被捕捉到。这意味着如果你在一个 function scope 创建了一个 layer instance 却未将其加入到任何 container class，则这个layer 不会出现在最终打印出来的 structure tree 上面[^4]. ```python class Net(torch.nn.Module): def __init__(self): super().__init__() self.conv1 = torch.nn.Linear(10, 10) net = Net() print(net) # Output will show conv1 but not other layers created inside methods unless added explicitly. ``` 以上就是关于 pytorch 中 nn 模块的一些基本介绍及其典型应用场景说明。