### PyTorch中nn.RNN的实现原理及代码示例 #### 1. nn.RNN 的基本结构 `nn.RNN` 是 PyTorch 中用于实现循环神经网络（RNN）的一个模块。它通过输入序列和隐藏状态，逐步更新隐藏状态，并生成输出[^4]。RNN 的核心思想是利用隐藏状态来捕获时间序列中的依赖关系。 #### 2. 参数详解 以下是 `nn.RNN` 的主要参数及其含义： - `input_size`: 输入特征的维度。 - `hidden_size`: 隐藏层的输出特征维度。 - `num_layers`: RNN 层的数量，默认为 1。 - `nonlinearity`: 激活函数类型，可选 `"tanh"` 或 `"relu"`，默认为 `"tanh"`. - `bias`: 是否使用偏置，默认为 `True`。 - `batch_first`: 如果为 `True`，输入和输出张量的第一个维度将是批量大小，默认为 `False`。 - `dropout`: 如果非零，则在除最后一层外的所有 RNN 层之间引入 Dropout，默认为 0。 - `bidirectional`: 如果为 `True`，则变为双向 RNN，默认为 `False`。 #### 3. 输入与输出格式 - **输入**: `(seq_len, batch, input_size)`，其中 `seq_len` 是序列长度，`batch` 是批量大小，`input_size` 是输入特征维度。 - **初始隐藏状态**: `(num_layers * num_directions, batch, hidden_size)`。 - **输出**: `(seq_len, batch, num_directions * hidden_size)`，其中 `num_directions` 是单向或双向 RNN 的方向数。 #### 4. 实现原理 `nn.RNN` 的实现基于以下公式： \[ h_t = \tanh(W_{ih} x_t + b_{ih} + W_{hh} h_{t-1} + b_{hh}) \] 其中： - \( h_t \) 是当前时刻的隐藏状态。 - \( x_t \) 是当前时刻的输入。 - \( W_{ih}, W_{hh} \) 是权重矩阵。 - \( b_{ih}, b_{hh} \) 是偏置项[^5]。 #### 5. 代码示例 以下是一个简单的 `nn.RNN` 使用示例： ```python import torch import torch.nn as nn # 定义 RNN 参数 input_size = 10 # 输入特征维度 hidden_size = 20 # 隐藏层输出特征维度 num_layers = 2 # RNN 层数 batch_size = 5 # 批量大小 seq_length = 6 # 序列长度 # 初始化 RNN 模型 rnn = nn.RNN(input_size, hidden_size, num_layers, batch_first=True) # 创建随机输入数据 inputs = torch.randn(batch_size, seq_length, input_size) # 初始化隐藏状态 hidden = torch.zeros(num_layers, batch_size, hidden_size) # 前向传播 outputs, hidden = rnn(inputs, hidden) print("Output shape:", outputs.shape) # 输出形状: (batch_size, seq_length, hidden_size) print("Hidden shape:", hidden.shape) # 隐藏状态形状: (num_layers, batch_size, hidden_size) ``` #### 6. 注意事项 - 如果 `batch_first=True`，输入和输出的第一维应为批量大小。 - 对于多层 RNN，每一层的隐藏状态都会被传递到下一层。 - 双向 RNN (`bidirectional=True`) 会分别计算正向和反向的隐藏状态，并将它们拼接在一起[^4]。