### Keras 实现 LSTM 模型 以下是基于 Keras 的 LSTM 模型实现代码示例： ```python from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Embedding, LSTM, Dense # 定义模型结构 model = Sequential() model.add(Embedding(input_dim=1000, output_dim=32)) # 嵌入层，输入词汇量为1000，嵌入向量维度为32 model.add(LSTM(units=64, activation='tanh', return_sequences=False)) # LSTM 层，隐藏单元数为64 model.add(Dense(units=1, activation='sigmoid')) # 输出层，单神经元用于二分类任务 # 编译模型 model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy']) # 打印模型概要 print(model.summary()) ``` 此代码定义了一个简单的序列分类模型[^2]。它通过 `Embedding` 将输入转换成密集向量表示形式，并传递给 `LSTM` 进行处理。 --- ### PyTorch 实现 LSTM 模型 下面是基于 PyTorch 的 LSTM 模型实现代码示例： ```python import torch import torch.nn as nn class LSTMModel(nn.Module): def __init__(self, vocab_size, embedding_dim, hidden_dim, output_dim): super(LSTMModel, self).__init__() # 初始化嵌入层 self.embedding = nn.Embedding(vocab_size, embedding_dim) # 输入词汇表大小和嵌入维度 # 初始化 LSTM 层 self.lstm = nn.LSTM(embedding_dim, hidden_dim, batch_first=True) # 隐藏状态维度设置为hidden_dim # 初始化全连接层 self.fc = nn.Linear(hidden_dim, output_dim) def forward(self, x): embedded = self.embedding(x) # 获取嵌入向量 lstm_out, _ = self.lstm(embedded) # 处理 LSTM 输出 out = self.fc(lstm_out[:, -1, :]) # 只取最后一个时间步的输出并传入全连接层 return out # 参数配置 vocab_size = 1000 # 词汇表大小 embedding_dim = 32 # 嵌入维度 hidden_dim = 64 # LSTM 隐藏状态维度 output_dim = 1 # 输出维度 (例如二分类问题) # 创建模型实例 model = LSTMModel(vocab_size=vocab_size, embedding_dim=embedding_dim, hidden_dim=hidden_dim, output_dim=output_dim) # 测试前向传播 input_tensor = torch.randint(0, vocab_size, (8, 5)) # 构造一批次数据，batch size=8, 序列长度=5 output = model(input_tensor) print(output.shape) # 查看输出形状 ``` 这段代码展示了如何构建一个自定义的 LSTM 模型类[^3]。该模型接受整数索引作为输入并通过嵌入层将其映射到连续空间中的稠密向量表示。 --- ### 关键点说明 - **Keras 和 PyTorch 差异**： Keras 提供了一种更高级别的 API 来快速搭建模型，而 PyTorch 则提供了更大的灵活性来定制化网络架构。 - **嵌入层的作用**： 在自然语言处理任务中，通常会先将离散的词索引转化为低维实数值向量表示，这一步由 `nn.Embedding` 或者 `Embedding` 层完成[^1]。 - **LSTM 结构特点**： LSTM 是一种特殊的 RNN 单元，能够有效缓解梯度消失/爆炸问题，适合捕捉长时间依赖关系的数据特征[^4]。 ---