### 基于LSTM的中文文本生成Python代码示例 以下是基于LSTM实现中文文本生成的一个完整代码示例。此代码包括数据预处理、模型构建和训练过程。 ```python import numpy as np from keras.models import Sequential from keras.layers import LSTM, Dense, Embedding from keras.preprocessing.text import Tokenizer from keras.utils import to_categorical from keras.preprocessing.sequence import pad_sequences # 数据预处理 text = "自然语言处理是一门非常有趣的学科，它涉及计算机科学、人工智能等领域。" # 示例中文文本 tokenizer = Tokenizer(char_level=True) # 使用字符级分词 tokenizer.fit_on_texts([text]) vocab_size = len(tokenizer.word_index) + 1 # 获取词汇表大小 # 将文本转换为整数序列 input_sequences = [] for line in text.split('。'): token_list = tokenizer.texts_to_sequences([line])[0] for i in range(1, len(token_list)): n_gram_sequence = token_list[:i+1] input_sequences.append(n_gram_sequence) # 对序列进行填充以保证输入长度一致 max_sequence_len = max([len(x) for x in input_sequences]) input_sequences = np.array(pad_sequences(input_sequences, maxlen=max_sequence_len, padding='pre')) # 创建输入和输出数据 X, y = input_sequences[:, :-1], input_sequences[:, -1] y = to_categorical(y, num_classes=vocab_size) # 构建LSTM模型 model = Sequential() model.add(Embedding(input_dim=vocab_size, output_dim=10, input_length=max_sequence_len-1)) model.add(LSTM(units=50)) model.add(Dense(vocab_size, activation='softmax')) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) # 训练模型 model.fit(X, y, epochs=200, verbose=1) # 文本生成函数 def generate_text(seed_text, next_words, model, max_sequence_len): for _ in range(next_words): token_list = tokenizer.texts_to_sequences([seed_text])[0] token_list = pad_sequences([token_list], maxlen=max_sequence_len-1, padding='pre') predicted = np.argmax(model.predict(token_list), axis=-1) output_word = "" for word, index in tokenizer.word_index.items(): if index == predicted: output_word = word break seed_text += output_word return seed_text # 测试文本生成 print(generate_text("自然语言", 5, model, max_sequence_len)) ``` ### 代码说明 1. **数据预处理** - 使用`Tokenizer`类对中文文本进行字符级分词[^3]。 - 将文本转换为整数序列，并对序列进行填充以保证输入长度一致。 - 创建模型的输入`X`和输出`y`，其中`y`使用`to_categorical`进行独热编码。 2. **模型构建** - 模型包含一个嵌入层（`Embedding`）、一个LSTM层和一个全连接层（`Dense`）[^1]。 - 使用`softmax`激活函数输出每个字符的概率分布。 3. **模型训练** - 使用`categorical_crossentropy`作为损失函数，`adam`作为优化器[^4]。 4. **文本生成** - 定义`generate_text`函数，根据给定的种子文本生成新的文本。 ### 注意事项 - 上述代码仅为示例，实际应用中需要更大的数据集和更复杂的模型结构以获得更好的生成效果。 - 中文文本生成通常需要较大的词汇表和更深的网络结构，例如堆叠多个LSTM层或使用双向LSTM[^1]。