Selenium、Requests 和 BeautifulSoup 是 Python 中常用的三种用于网络数据采集的库，它们各有特点和适用场景。下面是三者的简介以及如何配合使用的示例。 ### Requests 库 `requests` 主要用于发送 HTTP 请求并获取响应数据（例如HTML文本）。它简单易用，适合访问那些对动态交互需求较少的网站。 ```python import requests response = requests.get('http://example.com') html_content = response.text print(html_content) # 打印出 HTML 源码 ``` ### Beautiful Soup 库 `BeautifulSoup` 是解析 HTML 或 XML 文档的强大工具，可以方便地从文档结构中抽取所需信息。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, 'html.parser') title_tag = soup.find('title').string # 获取<title>标签内的文字内容 print(title_tag) ``` 将两者结合： ```python import requests from bs4 import BeautifulSoup def fetch_and_parse(url): r = requests.get(url) soup = BeautifulSoup(r.content,'lxml') for link in soup.find_all('a'): href=link.get('href') text=link.string if not (text is None or href is None): print(text + ": "+ href) fetch_and_parse("https://www.python.org/") ``` 上面这个小程序可以从 python 官网主页的所有超链接及其标题打印出来。 ### Selenium 库 当目标网页包含大量 JavaScript 动态生成的内容时，仅靠 Requests 往往无法满足需要。这时可以用 `selenium` 来模拟真实的浏览器环境操作页面。 ```python from selenium import webdriver browser = webdriver.Chrome() browser.get('http://example.com') element_text = browser.find_element_by_id('myId').text browser.quit() print(element_text ) ``` #### 综合使用案例 - 使用 Selenium 加载带 AJAX 的复杂页面再交给 BS 解析 有些时候我们需要先通过 Selenium 访问某个复杂的站点，等到所有的 AJAX 内容加载完成后，再把完整的 DOM 树交给 BeautifulSoup 进行更细致的数据挖掘工作。 ```python from selenium import webdriver from bs4 import BeautifulSoup driver = webdriver.Chrome() url="javascript-heavy-site" driver.get(url) time.sleep(5) # 等待所有 JS 渲染完成，实际项目建议改用显式等待代替固定延时！ full_html = driver.page_source driver.close() soup = BeautifulSoup(full_html,"html.parser") data_we_want=soup.select_one("#specificElement").getText() print(data_we_want) ```