### 统计英文文本中单词频率的Python程序 以下是一个使用Python编写的程序，用于统计英文文本中单词的频率。此程序结合了自然语言处理（NLP）技术来清理和标准化文本，并通过字典数据结构存储单词及其对应的频率。 ```python from nltk.tokenize import word_tokenize # 导入分词模块 from nltk.corpus import stopwords # 导入停止词模块 import string # 导入字符串模块 def preprocess_text(text): # 转换为小写并移除标点符号 translator = str.maketrans('', '', string.punctuation) text_lower = text.lower().translate(translator) return text_lower def count_word_frequency(text): # 预处理文本 processed_text = preprocess_text(text) # 分词 word_tokens = word_tokenize(processed_text) # 使用NLTK分词[^1] # 移除停止词 stopword_set = set(stopwords.words('english')) filtered_words = [w for w in word_tokens if w not in stopword_set] # 移除停止词[^1] # 统计单词频率 frequency_dict = {} for word in filtered_words: if word in frequency_dict: frequency_dict[word] += 1 else: frequency_dict[word] = 1 return frequency_dict # 示例文本 example_text = "Stray birds of summer come to my window to sing and fly away. And yellow leaves of autumn, which have no songs, flutter and fall there with a sigh." # 调用函数并打印结果 frequency_result = count_word_frequency(example_text) print(frequency_result) ``` #### 程序说明 - **预处理阶段**：将文本转换为小写，并移除所有标点符号，以确保单词统计的一致性。 - **分词**：使用 `word_tokenize` 方法对文本进行分词[^1]。 - **停止词过滤**：通过 NLTK 的 `stopwords` 模块移除英语中的常见停止词。 - **频率统计**：利用 Python 字典存储每个单词及其出现的次数。 #### 输出示例 对于给定的 `example_text`，程序将输出如下字典： ```python {'stray': 1, 'birds': 1, 'summer': 1, 'come': 1, 'window': 1, 'sing': 1, 'fly': 1, 'away': 1, 'yellow': 1, 'leaves': 1, 'autumn': 1, 'songs': 1, 'flutter': 1, 'fall': 1, 'sigh': 1} ```