### 实现大规模TXT文件词频统计 为了实现大规模文本文件的词频统计，可以利用 `jieba` 库的强大功能以及 Python 的文件操作能力。以下是详细的解决方案： #### 导入库并设置环境 首先导入必要的库，并配置 Jieba 进行多线程处理以提高效率。 ```python import os import jieba from collections import Counter ``` #### 加载自定义字典（可选） 如果存在特定领域术语或专有名词，则可以通过加载自定义字典来提升分词准确性[^2]。 ```python # 如果有自定义词典则加载之 if os.path.exists('自定义词典.txt'): jieba.load_userdict('自定义词典.txt') ``` #### 定义函数读取单个文档内容 创建一个辅助函数用于逐行读取大文件的内容，这样可以在内存有限的情况下处理非常大的文件。 ```python def read_large_file(file_path): with open(file_path, 'r', encoding='utf-8') as file: while True: line = file.readline() if not line: break yield line.strip() ``` #### 处理多个文本文件 编写主逻辑循环遍历指定目录下的所有 `.txt` 文件，并调用上述方法获取其全部内容。 ```python def process_files(directory): word_counter = Counter() for filename in os.listdir(directory): if filename.endswith('.txt'): filepath = os.path.join(directory, filename) for line in read_large_file(filepath): words = jieba.lcut(line) word_counter.update(words) return word_counter ``` #### 执行词频统计并将结果保存到CSV文件中 最后一步是对累积的结果进行整理输出至 CSV 文件方便后续查看分析。 ```python output_csv = "word_frequency.csv" with open(output_csv, mode="w", newline='', encoding='utf-8') as csv_file: writer = csv.writer(csv_file) writer.writerow(["Word", "Frequency"]) counter = process_files('./texts/') # 假设文本存放在当前路径下名为 texts 的子文件夹内 sorted_items = sorted(counter.items(), key=lambda item: (-item[1], item[0])) for word, freq in sorted_items[:100]: # 只保留前一百高频词汇作为样例展示 writer.writerow([word, freq]) ``` 此段代码实现了从给定目录中的所有 .txt 文档中提取单词及其出现频率的功能，并按照降序排列后导出为 CSV 表格形式。这不仅能够帮助理解不同词语在整个语料库里的分布情况，也为进一步的语言学研究提供了基础材料[^3]。