下面是一个利用本地文本训练 `bigramLM` 模型来编写小说的完整 Python 代码示例，它结合了引用中的 `bigramLM` 模型实现，并添加了生成小说的功能： ```python from collections import defaultdict, Counter import random class BigramLM: def __init__(self): self.unigram_counts = Counter() self.bigram_counts = defaultdict(int) self.vocab = set() def train(self, corpus): for sentence in corpus: tokens = ['<s>'] + sentence.split() + ['</s>'] self.vocab.update(tokens) for i in range(len(tokens)): self.unigram_counts[tokens[i]] += 1 if i > 0: self.bigram_counts[(tokens[i-1], tokens[i])] += 1 def predict_next(self, input_word): candidates = {} for word in self.vocab: numerator = self.bigram_counts.get((input_word, word), 0) + 1 # 加一平滑 denominator = self.unigram_counts[input_word] + len(self.vocab) prob = numerator / denominator if prob > 0: candidates[word] = prob return candidates def generate_text(self, start_word, length): text = [start_word] current_word = start_word for _ in range(length - 1): candidates = self.predict_next(current_word) if candidates: next_word = random.choices(list(candidates.keys()), weights=list(candidates.values()))[0] if next_word == '</s>': break text.append(next_word) current_word = next_word return ' '.join(text) def read_corpus_from_file(file_path): with open(file_path, 'r', encoding='utf-8') as file: return file.read().splitlines() # 读取本地文本文件 corpus = read_corpus_from_file('local_text.txt') # 训练 bigramLM 模型 model = BigramLM() model.train(corpus) # 生成小说 start_word = '<s>' length = 200 generated_text = model.generate_text(start_word, length) print(generated_text) ``` ### 代码说明： 1. **`BigramLM` 类**：实现了 `bigramLM` 模型，包括训练和预测功能。 2. **`read_corpus_from_file` 函数**：从本地文本文件中读取语料库。 3. **训练模型**：使用读取的语料库训练 `bigramLM` 模型。 4. **生成小说**：指定起始词和生成文本的长度，调用 `generate_text` 方法生成小说。 ### 注意事项： - 请确保本地存在名为 `local_text.txt` 的文本文件，该文件包含用于训练的文本。 - 生成的小说质量可能受到训练数据的影响，你可以使用更多、更优质的文本数据来提高生成质量。