### 使用Python爬取网页内容并提取高频词及对应出现次数 要完成这一任务，可以按照以下方法实现： #### 1. 安装必要的库 为了实现网页内容的爬取以及后续的数据处理，需要安装 `requests` 和 `BeautifulSoup` 库来解析网页内容，同时还需要借助 `re` 模块进行正则表达式匹配和清理文本[^3]。 可以通过命令行执行以下指令安装所需依赖： ```bash pip install requests beautifulsoup4 ``` #### 2. 爬取网页内容 使用 `requests` 获取目标网页的内容，并通过 `BeautifulSoup` 解析 HTML 文档中的特定部分。以下是具体的代码示例： ```python import requests from bs4 import BeautifulSoup # 设置请求头模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } url = 'https://example.com' # 替换为目标网站URL response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.content.decode('utf-8'), 'html.parser') # 提取正文内容（假设存储在某个标签中） content_div = soup.find('div', {'class': 'content'}) text_content = content_div.get_text() if content_div else '' else: print(f"Failed to retrieve the webpage with status code {response.status_code}") ``` 上述代码实现了对指定 URL 的 GET 请求，并从中提取了具有特定类名的 `<div>` 标签内的文字内容。 #### 3. 清洗数据 由于从网页上抓取下来的文字可能包含多余的空白字符、HTML 特殊符号或其他干扰项，因此需对其进行预处理以便于进一步分析。这里采用 Python 自带的字符串操作函数配合正则表达式的功能来进行清洗工作。 ```python import re def clean_text(raw_text): cleaned_text = raw_text.strip().lower() cleaned_text = re.sub(r'\s+', ' ', cleaned_text) # 去除多余空格 cleaned_text = re.sub(r'[^\w\s]', '', cleaned_text) # 移除非字母数字字符 return cleaned_text cleaned_data = clean_text(text_content) print(cleaned_data[:50]) # 输出前50个字符作为验证 ``` 此段脚本定义了一个名为 `clean_text()` 的辅助函数用于去除不必要的格式化标记并将所有英文字母转换成小写形式以统一标准。 #### 4. 统计单词频率 最后一步就是计算每个独立词汇在整个文档里重复了多少次。这可通过构建字典或者调用第三方工具包如 NLTK 来达成目的。下面展示了一种简单直接的方式——手动维护一个记录键值对关系的对象结构。 ```python word_freq_dict = {} for word in cleaned_data.split(): if word not in word_freq_dict: word_freq_dict[word] = 0 word_freq_dict[word] += 1 sorted_words = sorted(word_freq_dict.items(), key=lambda item:item[1], reverse=True)[:10] for w,freq in sorted_words: print(f"{w}: {freq} times") ``` 以上程序片段会遍历经过净化后的纯文本串里的每一个词语单元，逐一累加它们各自的计数值直到结束为止；接着再依据这些累积起来的结果按降序排列选出排名前十位最常使用的词条连同其具体显现数目一并打印出来显示给用户查看。 ---