### 使用 PyTorch 进行深度学习实验的示例 #### 定义模型结构 为了展示如何使用 PyTorch 编写深度学习实验代码，下面提供了一个简单的神经网络实现。该网络用于解决分类问题。 ```python import torch from torch import nn, optim from torchvision import datasets, transforms class SimpleNet(nn.Module): def __init__(self): super(SimpleNet, self).__init__() self.fc1 = nn.Linear(784, 500) self.relu = nn.ReLU() self.fc2 = nn.Linear(500, 10) def forward(self, x): x = x.view(-1, 784) # 将输入展平成一维向量 x = self.relu(self.fc1(x)) x = self.fc2(x) return x ``` 此段代码定义了一种两层全连接前馈神经网络[^1]。 #### 数据加载与预处理 数据集的选择对于训练过程至关重要，在这里选择了经典的 MNIST 手写字体识别数据集作为例子： ```python transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))]) trainset = datasets.MNIST('~/.pytorch/MNIST_data/', download=True, train=True, transform=transform) trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True) testset = datasets.MNIST('~/.pytorch/MNIST_data/', download=True, train=False, transform=transform) testloader = torch.utils.data.DataLoader(testset, batch_size=64, shuffle=False) ``` 这段代码实现了对MNIST数据集的下载以及标准化操作，并设置了批量大小为64的数据迭代器。 #### 权重初始化策略 考虑到梯度消失或爆炸的问题，可以采用Xavier 或者 Kaiming 初始化方法来设置权重参数初始值: ```python def weights_init(m): if isinstance(m, nn.Linear): nn.init.kaiming_normal_(m.weight.data) m.bias.data.fill_(0.01) model = SimpleNet().apply(weights_init) ``` 上述代码片段展示了利用Kaiming正态分布方式完成线性层权重矩阵及其偏置项的初始化工作[^2]。 #### 训练循环配置 最后一步就是构建损失函数并指定优化算法来进行模型训练： ```python criterion = nn.CrossEntropyLoss() # 设置交叉熵损失函数 optimizer = optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-4) # Adam优化器加上L2正则化 epochs = 5 for e in range(epochs): running_loss = 0 for images, labels in trainloader: optimizer.zero_grad() output = model(images) loss = criterion(output, labels) loss.backward() optimizer.step() running_loss += loss.item() print(f"Epoch {e+1}/{epochs}.. Training Loss: {running_loss/len(trainloader)}") ``` 以上部分完成了整个训练流程的设计，其中加入了`weight_decay`超参以引入L2范数惩罚机制达到防止过拟合的效果[^3]。