### 使用 PyTorch 搭建循环神经网络 (RNN) #### 1. RNN 的基本概念 循环神经网络（Recurrent Neural Networks，简称 RNN）是一种用于处理序列数据的深度学习模型。其核心特点是能够捕捉输入数据中的时间依赖关系，在自然语言处理、语音识别和时间序列预测等领域表现出色[^1]。 #### 2. PyTorch 中的 RNN 实现 PyTorch 提供了内置模块 `nn.RNN` 来简化 RNN 的构建过程。通过该模块可以轻松定义单层或多层 RNN，并支持不同的激活函数如 tanh 和 ReLU。 以下是使用 PyTorch 构建一个简单的 RNN 模型的具体方法： #### 3. 数据准备 在搭建 RNN 前，通常需要对输入数据进行预处理。假设有一个长度为 T 的序列数据 X，形状为 `(batch_size, sequence_length, input_size)`，其中： - `batch_size`: 批次大小； - `sequence_length`: 序列长度； - `input_size`: 输入特征维度。 ```python import torch from torch import nn # 定义超参数 input_size = 10 # 输入向量的维度 hidden_size = 20 # 隐藏状态的维度 num_layers = 2 # RNN 层数 output_size = 1 # 输出维度 seq_len = 5 # 时间步长 batch_size = 3 # 批次大小 # 创建随机输入张量 x = torch.randn(batch_size, seq_len, input_size) print(f"Input tensor shape: {x.shape}") ``` #### 4. 搭建 RNN 模型 利用 PyTorch 的 `nn.RNN` 类来创建 RNN 模型。可以通过设置参数调整层数、隐藏单元数量以及其他特性。 ```python class SimpleRNN(nn.Module): def __init__(self, input_size, hidden_size, num_layers, output_size): super(SimpleRNN, self).__init__() self.rnn = nn.RNN(input_size=input_size, hidden_size=hidden_size, num_layers=num_layers, batch_first=True) # 设置为 True 表示输入的第一个维度是批次大小 self.fc = nn.Linear(hidden_size, output_size) # 全连接层 def forward(self, x): out, _ = self.rnn(x) # 获取最后一个时间步的输出 out = self.fc(out[:, -1, :]) # 取最后一步的时间步作为全连接层的输入 return out model = SimpleRNN(input_size, hidden_size, num_layers, output_size) print(model) ``` 上述代码中，`forward()` 方法实现了前向传播逻辑。对于多层 RNN，每一层都会接收上一层的状态并传递给下一层。 #### 5. 训练与推理 完成模型定义后，可进一步配置损失函数和优化器来进行训练或测试。 ```python criterion = nn.MSELoss() # 平方误差损失 optimizer = torch.optim.Adam(model.parameters(), lr=0.01) # 示例目标值 y_true y_true = torch.randn(batch_size, output_size) # 前向传播 y_pred = model(x) # 计算损失 loss = criterion(y_pred, y_true) # 反向传播与更新权重 optimizer.zero_grad() loss.backward() optimizer.step() print(f"Loss after one step of training: {loss.item():.4f}") ``` 以上展示了完整的 RNN 搭建流程，包括初始化、正向传播、反向传播以及梯度下降更新等步骤[^2]。 #### 6. 进阶：LSTM 和 GRU 除了基础 RNN 外，长期短期记忆网络（Long Short-Term Memory，LSTM）和门控循环单元（Gated Recurrent Unit，GRU）也是常用的改进版架构。它们解决了传统 RNN 存在的梯度消失/爆炸问题，适合更复杂的场景[^3]。 例如，替换 LSTM 或 GRU 十分简单，只需修改如下部分即可： ```python self.lstm = nn.LSTM(input_size=input_size, hidden_size=hidden_size, num_layers=num_layers, batch_first=True) ``` --- ###