### Python 实现统计词频的程序 以下是基于 `collections` 模块中的 `Counter` 类实现的一个简单示例，用于统计给定文本中单词的频率： ```python import re from collections import Counter # 示例文本 text = "This is a sample sentence. This sentence is really just a sample." # 文本预处理：去除标点符号并转换为小写 cleaned_text = re.sub(r'[^\w\s]', '', text).lower() # 分词 words = cleaned_text.split() # 使用 Counter 统计词频 word_counts = Counter(words) # 输出词频统计结果 print(word_counts) # 如果需要按照词频排序 most_common_words = word_counts.most_common() print(most_common_words) ``` 上述代码通过正则表达式去除了标点符号并将所有字母转为小写以确保大小写不敏感[^3]。接着利用字符串方法 `.split()` 将句子拆分为单个词语列表，并调用 `Counter` 来计算每个单词出现的次数。 对于更复杂的场景，比如统计《哈姆雷特》这样的大型文档中的词频，可以采用如下方式逐行读取文件内容并更新词频统计表： ```python import re from collections import Counter def count_word_frequencies(file_path): counts = Counter() with open(file_path, 'r', encoding='utf-8') as file: for line in file: # 去除标点符号并转换为小写 cleaned_line = re.sub(r'[^\w\s]', '', line).lower() # 分词 words = cleaned_line.split() # 更新词频统计 counts.update(words) return counts file_path = 'hamlet.txt' # 替换为实际文件路径 word_frequencies = count_word_frequencies(file_path) print(word_frequencies.most_common(10)) # 打印前十个最常见的单词及其频率 ``` 此函数能够高效地处理大文件而不一次性加载整个文件入内存[^2]。它同样依赖于 `re` 和 `Counter` 工具完成基本的任务逻辑。 #### 注意事项 当涉及中文或其他复杂语言时，可能需要额外引入专门库如 jieba 进行分词操作，因为这些语言通常不像英语那样有明显的空格作为自然分割符[^4]。