### 使用Python实现网页内容的词频统计 要使用 Python 实现网页内容的词频统计，可以按照以下方式完成。这涉及多个步骤，包括获取网页内容、分词处理以及统计词频。 #### 获取网页内容 可以通过 `requests` 库来抓取网页的内容。以下是示例代码： ```python import requests def fetch_web_content(url): try: response = requests.get(url) response.raise_for_status() # 检查请求状态码是否正常 return response.text except Exception as e: print(f"Error fetching content from {url}: {e}") return None ``` 此函数会返回指定 URL 的 HTML 文本内容[^1]。 --- #### 中文分词 对于中文文本，通常需要借助第三方库如 `jieba` 进行分词操作。安装 `jieba` 可以通过 pip 完成： ```bash pip install jieba ``` 下面是一个简单的分词函数： ```python import jieba def segment_text(text): words = jieba.lcut(text) # 对文本进行精确模式分词 return words ``` 该函数会对输入的字符串执行分词，并返回一个包含词语列表的结果[^3]。 --- #### 去除停用词 为了减少干扰项，在实际应用中往往需要过滤掉一些无意义的高频词汇（即停用词）。可以从网上下载一份常用的中文停用词表并加载到程序中： ```python def load_stopwords(file_path): with open(file_path, 'r', encoding='utf-8') as f: stopwords = set(line.strip() for line in f.readlines()) return stopwords ``` 随后可以在统计过程中排除这些停用词的影响。 --- #### 统计词频 最后一步是对分词后的结果计算每种单词出现的次数。这里提供一种基于字典的方法： ```python from collections import Counter def count_word_frequency(words, stopwords=None): filtered_words = [word for word in words if len(word) > 1 and (stopwords is None or word not in stopwords)] frequency = Counter(filtered_words) return dict(frequency.most_common()) # 返回按频率排序的结果 ``` 这段代码利用了标准库中的 `collections.Counter` 来简化词频统计过程[^3]。 --- #### 整合流程 将以上各部分组合起来形成完整的解决方案如下所示： ```python if __name__ == "__main__": url = "https://example.com" web_content = fetch_web_content(url) if web_content: segmented_result = segment_text(web_content) stopwords = load_stopwords('path/to/stopwords.txt') freq_dict = count_word_frequency(segmented_result, stopwords=stopwords) for word, freq in list(freq_dict.items())[:10]: print(f"{word}: {freq}") ``` 注意替换其中的 URL 和停用词文件路径为你自己的具体需求。 --- ### 结果展示 如果希望更直观地呈现数据，还可以引入可视化工具绘制词云图或其他图表形式。例如，可结合 `matplotlib` 或者专门用于制作词云的 `WordCloud` 库[^2]。 ---