202403-1 词频统计 python

### Python 实现词频统计在 Python 中，可以通过多种方法实现词频统计。以下是基于字符串处理、正则表达式以及字典操作的一种常见方式来完成这一任务。 #### 方法概述为了实现词频统计功能，可以按照以下逻辑构建程序：读取目标文件中的文本数据；清理文本以移除无关字符（如标点符号）；分割文本成单独的单词列表；利用字典记录每个单词及其对应的频率[^1]。下面是一个完整的例子用于说明如何统计 `hamlet.txt` 文件中出现最频繁的前五个单词： ```python import re from collections import Counter def word_frequency(file_path, top_n=5): with open(file_path, 'r', encoding='utf-8') as file: text = file.read() words = re.findall(r'\b\w+\b', text.lower()) # 使用正则提取所有单词并转换为小写 frequency_dict = dict(Counter(words).most_common(top_n)) return frequency_dict if __name__ == "__main__": result = word_frequency('hamlet.txt') for key, value in result.items(): print(f"{key}: {value}") ``` 上述代码片段展示了通过导入必要的模块后定义了一个名为 `word_frequency()` 的函数，该函数接收两个参数——一个是待分析文档路径名，另一个是指定返回最高频率词汇数量，默认设置为五条记录[^2]。这里采用了标准库中的 `re` 和 `collections.Counter` 来简化模式匹配过程与计数工作流。另外，在实际竞赛场景或者更复杂的业务需求下，可能还需要考虑更多细节问题比如大小写的统一化处理、停用词过滤等额外预处理步骤[^3]。对于 CCF-CSP 类型题目而言，则需严格按照输入输出格式编写相应解决方案，并且要注意边界条件测试用例覆盖充分性等问题[^4]。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 python中将结果存储为excel