### 使用 Jieba 对 Word 文档中的文本进行分词并统计词频 为了实现对 Word 文档中的文本进行分词并统计词频，可以按照如下方式操作： #### 准备工作 确保安装了必要的 Python 库 `python-docx` 和 `jieba`。可以通过 pip 安装这些库。 ```bash pip install python-docx jieba pandas openpyxl ``` #### 加载 Word 文件内容 使用 `python-docx` 来读取 .docx 文件的内容，并将其转换成字符串形式以便后续处理。 ```python from docx import Document def read_docx(file_path): document = Document(file_path) full_text = [] for para in document.paragraphs: full_text.append(para.text) return '\n'.join(full_text) content = read_docx('example.docx') print(content[:500]) # 打印前500字符用于验证加载成功与否 ``` #### 进行分词和去除停用词 利用 `jieba.lcut()` 方法来分割句子成为单词列表；同时准备一个停用词表以过滤掉无意义的词汇如“的”，“是”。 ```python import jieba stopwords = set(line.strip() for line in open('stop_words.txt', encoding='utf-8').readlines()) def segment(text, stopwords=stopwords): words = jieba.lcut(text) filtered_words = [word for word in words if word not in stopwords and len(word)>1] return filtered_words segmented_content = segment(content) print(segmented_content[:20]) # 查看部分分词后的结果 ``` #### 统计词频并将结果保存至 Excel 或者 txt 文件 通过 `pandas.DataFrame.groupby().size()` 可方便地计算各词语出现频率，并可进一步导出到不同格式的数据表格中去。 ```python import pandas as pd df = pd.DataFrame({'word': segmented_content}) freq_dist = df['word'].value_counts() with pd.ExcelWriter('output.xlsx') as writer: freq_dist.to_frame(name="frequency").to_excel(writer, sheet_name='Sheet1') # 或者保存为纯文本文件 with open('output.txt', 'w', encoding='utf-8') as f: for index, value in freq_dist.items(): f.write(f'{index}\t{value}\n') ``` 上述过程展示了如何从读入 Word 文档开始到最后完成词频分析以及输出的过程[^1]。