### Python下载文本文件并统计词频 要实现从指定链接下载文本文件（如《Hamlet》和《三国演义》），然后用字典统计词频，并输出出现次数最多的10个词语，可以按照以下方法完成。 #### 下载文本文件 使用 `requests` 库从指定链接下载文本文件。代码示例如下： ```python import requests def download_text(url): response = requests.get(url) if response.status_code == 200: return response.text else: raise Exception("Failed to download the file") ``` 此函数通过指定的 URL 下载文本文件，并返回其内容[^1]。 #### 文本预处理 在统计词频之前，需要对文本进行预处理，包括去除标点符号、转换为小写等操作。代码如下： ```python import string def preprocess_text(text): # 去除标点符号 translator = str.maketrans('', '', string.punctuation) text = text.translate(translator) # 转换为小写 text = text.lower() return text ``` 此函数将输入的文本转换为小写，并移除所有标点符号[^2]。 #### 统计词频 使用字典统计每个单词的出现次数。代码如下： ```python from collections import Counter def count_word_frequencies(text): words = text.split() word_counts = Counter(words) return word_counts ``` 此函数将文本按空格分割成单词列表，并使用 `Counter` 类统计每个单词的频率[^3]。 #### 输出词频最高的10个词 最后，提取出现次数最多的10个单词并输出。代码如下： ```python def top_n_words(word_counts, n=10): return word_counts.most_common(n) # 主程序 if __name__ == "__main__": url = "https://www.gutenberg.org/files/1524/1524-0.txt" # Hamlet 示例链接 text = download_text(url) processed_text = preprocess_text(text) word_counts = count_word_frequencies(processed_text) top_words = top_n_words(word_counts) print(top_words) ``` 上述代码实现了从指定链接下载《Hamlet》文本文件，预处理文本，统计词频，并输出词频最高的10个单词[^4]。 对于中文文本（如《三国演义》），需要额外处理分词问题。可以使用 `jieba` 库进行中文分词。代码如下： ```python import jieba def preprocess_chinese_text(text): # 使用 jieba 分词 words = jieba.lcut(text) # 移除停用词和其他非必要字符 stop_words = set(["的", "了", "和", "是", "在", "作为"]) # 示例停用词 filtered_words = [word for word in words if word not in stop_words and word.strip()] return " ".join(filtered_words) # 修改主程序以支持中文文本 url = "https://example.com/sanguoyanyi.txt" # 示例链接 text = download_text(url) processed_text = preprocess_chinese_text(text) word_counts = count_word_frequencies(processed_text) top_words = top_n_words(word_counts) print(top_words) ``` 此代码片段展示了如何使用 `jieba` 库对中文文本进行分词，并过滤掉常见的停用词[^5]。 #### 注意事项 - 确保安装必要的库：`requests`, `jieba` 和 `collections`。 - 对于中文文本，分词和停用词处理是关键步骤。 - 如果目标链接需要特殊处理（如编码问题），需根据实际情况调整代码。