### Python 实现网页全量数据采集的代码示例 以下提供了一个完整的 Python 脚本，用于实现网页的全量数据采集。该脚本利用 `requests` 库发送 HTTP 请求，并借助 `BeautifulSoup` 解析 HTML 文档结构，从而提取所需的信息。 #### 安装必要的库 在执行代码之前，请确保安装了所需的第三方库： ```bash pip install requests beautifulsoup4 ``` #### 网页全量采集的核心逻辑 以下是具体的实现代码： ```python import requests from bs4 import BeautifulSoup def fetch_webpage(url): """ 发送HTTP请求并返回响应内容。 如果请求成功则返回HTML文档字符串；否则抛出异常。 """ headers = {'User-Agent': 'Mozilla/5.0'} # 设置请求头模拟浏览器访问行为[^1] try: response = requests.get(url, headers=headers) response.raise_for_status() # 检查请求状态码是否正常 return response.text except requests.RequestException as e: raise Exception(f"Failed to retrieve webpage content from {url}. Error: {e}") def parse_html(html_content): """ 使用BeautifulSoup解析HTML文档， 并提取页面上的所有链接作为示例展示。 可根据具体需求修改解析规则。 """ soup = BeautifulSoup(html_content, 'html.parser') # 初始化BeautifulSoup对象[^2] links = [] for link in soup.find_all('a'): # 查找所有<a>标签 href = link.get('href') text = link.get_text(strip=True) # 去除多余空白字符 if href and not href.startswith('#'): # 排除无意义或锚点链接 links.append({'text': text, 'url': href}) return links if __name__ == "__main__": target_url = "https://example.com" # 替换为目标网站地址 html_doc = fetch_webpage(target_url) extracted_links = parse_html(html_doc) print("已抓取的链接列表:") for idx, item in enumerate(extracted_links[:10], start=1): # 输出前十个结果作为示例 print(f"{idx}: [{item['text']}]({item['url']})") ``` 上述代码实现了两个主要功能：一是通过 `fetch_webpage()` 函数获取指定 URL 对应的完整 HTML 内容；二是调用 `parse_html()` 方法从中抽取有用信息，在这里我们选择了 `<a>` 标签内的超链接及其描述文字作为演示案例[^3]。 对于更复杂的场景比如分页加载的内容或是动态渲染的 JavaScript 页面，则需进一步引入 Selenium 或 Playwright 工具来模拟真实用户的浏览操作过程[^4]。 --- ###