### 在 Jupyter Notebook 中对英文文本进行预处理并统计词频 在 Jupyter Notebook 环境下，可以通过编写 Python 脚本来实现英文文本的预处理和词频统计。以下是具体方法： #### 创建一个新的 Jupyter Notebook 文件 启动 Jupyter Notebook 并创建一个新的 `.ipynb` 文件。 #### 导入所需库 首先导入必要的 Python 库，例如 `re` 用于正则表达式匹配、`collections` 用于高效计数以及 `pandas` 可选地用于展示结果表格[^1]。 ```python import re from collections import Counter import pandas as pd ``` #### 定义函数以加载和清理数据 定义一个函数用来读取文本文件内容，并对其进行初步清洗，如转换成小写形式、去掉标点符号等非字母字符[^3]。 ```python def load_and_clean_text(file_path): with open(file_path, 'r', encoding='utf-8') as file: text = file.read() # 将所有大写字母转为小写 text = text.lower() # 替换掉除了字母之外的所有字符为空白空间 cleaned_text = re.sub(r'[^a-z\s]', '', text) return cleaned_text ``` #### 统计单词频率 利用之前提到过的 `Counter` 方法来计算每个单词出现的次数[^1]。 ```python def count_word_frequency(text): words = text.split() word_count = Counter(words) return word_count ``` #### 展示前 N 个高频词汇 通过 Pandas DataFrame 更直观地查看排名靠前的一些关键词及其对应数量[^1]。 ```python def display_top_n_words(word_count, n=10): df = pd.DataFrame(list(word_count.items()), columns=['Word', 'Frequency']) top_n_df = df.sort_values(by='Frequency', ascending=False).head(n) return top_n_df ``` #### 执行流程 假设有一个名为 `example.txt` 的纯文本文件位于当前目录下，按照如下顺序调用上面定义好的各个部分即可得到最终的结果。 ```python if __name__ == "__main__": file_path = './example.txt' clean_txt = load_and_clean_text(file_path) freq_dist = count_word_frequency(clean_txt) result = display_top_n_words(freq_dist, 20) # 显示最常使用的20个单词 print(result) ``` --- ### 注意事项 确保所操作的目标文档编码方式正确无误（这里假定 UTF-8），否则可能会遇到解码错误等问题。另外还可以进一步扩展此脚本的功能，比如加入忽略列表排除常见但意义不大的虚词等等[^2]。