### PyTorch 实验四 动手学深度学习 循环神经网络 RNN 教程 循环神经网络（Recurrent Neural Network, RNN）是一种用于处理序列数据的神经网络模型，广泛应用于自然语言处理（NLP）领域。在《动手学深度学习》这本书中，实验四详细介绍了如何使用 PyTorch 框架实现 RNN，并提供了从零开始和使用框架两种方式的代码示例[^1]。 #### 1. 数据集加载与预处理 实验四首先介绍了如何加载和预处理数据集。通常使用 `torchtext` 或自定义数据迭代器来处理文本数据。以下是一个简单的数据加载示例： ```python import torch from torch.utils.data import DataLoader, Dataset class TextDataset(Dataset): def __init__(self, data, labels): self.data = data self.labels = labels def __len__(self): return len(self.data) def __getitem__(self, idx): return self.data[idx], self.labels[idx] # 示例数据 data = ["hello world", "deep learning", "pytorch framework"] labels = [0, 1, 2] # 转换为张量 def collate_fn(batch): texts, labels = zip(*batch) # 假设已经进行了分词和向量化 return torch.tensor(texts), torch.tensor(labels) dataloader = DataLoader(TextDataset(data, labels), batch_size=2, collate_fn=collate_fn) ``` #### 2. RNN 模型构建 接下来是 RNN 模型的构建。PyTorch 提供了内置的 `nn.RNN` 模块，可以方便地定义循环神经网络。 ```python import torch.nn as nn class RNNModel(nn.Module): def __init__(self, input_size, hidden_size, output_size, num_layers=1): super(RNNModel, self).__init__() self.hidden_size = hidden_size self.rnn = nn.RNN(input_size, hidden_size, num_layers, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) def forward(self, x): h0 = torch.zeros(1, x.size(0), self.hidden_size).to(x.device) # 初始化隐藏状态 out, _ = self.rnn(x, h0) # RNN 输出 out = self.fc(out[:, -1, :]) # 取最后一个时间步的输出 return out ``` #### 3. 训练过程 训练过程中需要定义损失函数和优化器，并进行前向传播、反向传播和参数更新。 ```python model = RNNModel(input_size=100, hidden_size=128, output_size=3) criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=0.001) for epoch in range(10): # 假设训练10个epoch for texts, labels in dataloader: outputs = model(texts.float()) # 前向传播 loss = criterion(outputs, labels) # 计算损失 optimizer.zero_grad() # 清空梯度 loss.backward() # 反向传播 optimizer.step() # 更新参数 print(f'Epoch [{epoch+1}/10], Loss: {loss.item():.4f}') ``` #### 4. 模型评估 训练完成后，可以通过测试集评估模型性能。 ```python model.eval() with torch.no_grad(): correct = 0 total = 0 for texts, labels in dataloader: outputs = model(texts.float()) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print(f'Accuracy: {100 * correct / total:.2f}%') ``` #### 5. 进阶内容 除了基本的 RNN，实验四还介绍了更复杂的变体，如 GRU 和 LSTM[^1]。这些模型通过引入门控机制解决了传统 RNN 的梯度消失问题。 ```python class LSTMModel(nn.Module): def __init__(self, input_size, hidden_size, output_size, num_layers=1): super(LSTMModel, self).__init__() self.hidden_size = hidden_size self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) def forward(self, x): h0 = torch.zeros(1, x.size(0), self.hidden_size).to(x.device) c0 = torch.zeros(1, x.size(0), self.hidden_size).to(x.device) out, _ = self.lstm(x, (h0, c0)) out = self.fc(out[:, -1, :]) return out ```