### 实现Unigram模型计算单词概率 Unigram模型是一种简单的语言模型，假设每个词的出现与其他词无关，仅基于单独词频进行建模。以下是通过Python实现Unigram模型并计算单词概率的方法： #### 数据准备 首先需要一个语料库作为输入数据源。该语料库应是一个包含多个句子的文本集合。 ```python from collections import Counter import re def preprocess_text(text): """预处理文本：移除非字母字符并将所有字符转换为小写""" text = re.sub(r'[^a-zA-Z\s]', '', text).lower() words = text.split() return words ``` #### 计算词频 利用`Counter`类统计语料库中每个单词的出现次数。 ```python def calculate_word_frequencies(words): """计算每个单词的频率""" word_counts = Counter(words) total_words = sum(word_counts.values()) return word_counts, total_words ``` #### 单词概率计算 根据公式 \( P(w_i) = \frac{C(w_i)}{\text{Total Words}} \)，其中\( C(w_i) \) 是单词 \( w_i \) 的出现次数，\(\text{Total Words}\) 是总词数。 ```python def compute_unigram_probabilities(word_counts, total_words): """计算unigram模型下的单词概率""" probabilities = {word: count / total_words for word, count in word_counts.items()} return probabilities ``` #### 主函数 将以上功能组合成完整的流程。 ```python def unigram_model(corpus): """构建unigram模型""" words = preprocess_text(corus)[^1] word_counts, total_words = calculate_word_frequencies(words)[^3] probabilities = compute_unigram_probabilities(word_counts, total_words)[^1] return probabilities ``` #### 测试代码 提供一段示例语料库用于验证程序的功能。 ```python if __name__ == "__main__": corpus = "this is a test this is another test" model = unigram_model(corpus) # 打印结果 for word, prob in sorted(model.items()): print(f"{word}: {prob:.4f}") ``` 运行此脚本后会输出每个单词及其对应概率。 --- ### 注意事项 - **平滑技术**：实际应用中可能会遇到未登录词（OOV），需引入拉普拉斯平滑或其他方法解决零概率问题。 - **大规模语料库优化**：当面对非常大的语料库时，内存消耗可能成为瓶颈，此时可以采用增量更新策略或者分布式存储方案。