统计文本中单词的频率是自然语言处理（NLP）和数据分析中的一个常见任务。通过分析文本中单词的出现频率，可以揭示文本的主题、结构以及潜在的模式。Python 提供了多种方法来实现这一功能，其中使用 `collections` 模块中的 `Counter` 类是一种高效且简洁的方式。 以下是一个完整的 Python 程序，用于统计文本文件中单词的出现次数，并输出频率最高的前几个单词： ### 示例代码 ```python import os import re from collections import Counter def count_words_in_directory(directory='.'): word_counts = Counter() # 遍历指定目录下的所有文件 for filename in os.listdir(directory): if filename.endswith('.txt'): file_path = os.path.join(directory, filename) with open(file_path, 'r', encoding='utf-8') as file: text = file.read().lower() # 将文本转换为小写 words = re.findall(r'\b\w+\b', text) # 使用正则表达式提取单词 word_counts.update(words) return word_counts # 获取单词频率统计结果 word_counts = count_words_in_directory() # 输出出现频率最高的前5个单词 for word, count in word_counts.most_common(5): print(f"{word}: {count}") ``` ### 代码解析 1. **导入必要的模块**： - `os` 用于遍历文件系统。 - `re` 用于正则表达式操作，提取单词。 - `collections.Counter` 用于高效统计单词频率。 2. **定义函数 `count_words_in_directory`**： - 该函数接受一个目录路径作为参数，默认为当前目录。 - 遍历该目录下的所有 `.txt` 文件。 - 对于每个文件，读取其内容并将其转换为小写形式，以确保大小写不敏感。 - 使用正则表达式 `\b\w+\b` 提取所有单词。这个正则表达式匹配由字母、数字或下划线组成的单词边界。 - 使用 `Counter` 对提取出的单词进行统计。 3. **输出频率最高的前5个单词**： - 使用 `Counter` 的 `most_common()` 方法获取频率最高的单词及其出现次数。 ### 扩展功能 - **去除标点符号**：在实际应用中，可能需要进一步处理文本，例如去除标点符号、停用词过滤等。可以使用 `nltk` 或 `spaCy` 等 NLP 库来增强文本预处理能力。 - **支持多种文件格式**：如果需要支持其他文件格式（如 `.csv`, `.json`, `.docx`），可以使用相应的库（如 `pandas`, `python-docx`）来读取文件内容。 - **可视化单词频率**：可以使用 `matplotlib` 或 `wordcloud` 等库将单词频率可视化为图表或词云。 ### 性能优化 - **内存效率**：对于非常大的文本文件，建议逐行读取文件而不是一次性读取整个文件内容，以减少内存占用。 - **多线程/异步处理**：如果需要处理大量文件，可以考虑使用多线程或异步 I/O 来加速文件读取和处理过程。 通过上述方法，可以轻松实现对文本中单词频率的统计，并根据具体需求进行扩展和优化。 ---