### 使用 Selenium 获取并处理网页 `page_source` 当利用 Selenium 进行网页抓取时，`driver.page_source` 是一种常用的方法来获取当前加载页面的 HTML 源代码[^1]。然而，在某些情况下，直接使用此方法可能会遇到源代码不完整的情况。为了确保能够完全获取目标页面的内容，建议采取以下措施： #### 确保页面充分加载 有时页面并非一次性完成所有内容的加载，特别是对于动态加载更多内容的网站而言。可以通过等待特定条件满足的方式来解决这个问题。 ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 初始化 WebDriver (以 Chrome 浏览器为例) options = webdriver.ChromeOptions() driver = webdriver.Chrome(options=options) url = "https://example.com" driver.get(url) try: # 显式等待直到某元素可见, 假设该元素代表页面主要内容已加载完毕 element_present = EC.presence_of_element_located((By.ID, 'main-content')) WebDriverWait(driver, 10).until(element_present) finally: html_content = driver.page_source ``` 这段代码展示了如何设置显式的等待时间，以便让浏览器有足够的时间去渲染整个页面后再读取其HTML结构[^4]。 #### 处理 JavaScript 动态生成的内容 如果目标站点大量依赖于JavaScript来构建DOM树，则简单的调用 `driver.page_source` 可能不会得到预期的结果。此时应该考虑执行额外的操作触发这些脚本运行，比如滚动到底部或点击按钮等交互行为。 ```python import time def scroll_down(): """模拟向下滚动操作""" last_height = driver.execute_script("return document.body.scrollHeight") while True: # 向下滚动至底部 driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") # 等待新内容加载出来 time.sleep(2) new_height = driver.execute_script("return document.body.scrollHeight") if new_height == last_height: break last_height = new_height scroll_down() # 执行滚动动作 html_after_scroll = driver.page_source ``` 上述函数实现了自动化的页面滚动逻辑，这对于那些只有在用户滚动视图才会加载更多信息的现代Web应用特别有用[^3]。 #### 解析与提取所需信息 一旦获得了完整的HTML文档字符串形式的数据之后，便可以根据实际需求对其进行解析和筛选。BeautifulSoup库是一个非常适合用来做这项工作的工具之一。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_after_scroll, 'lxml') titles = soup.find_all('h2', class_='post-title') # 查找所有的标题标签作为例子 for title in titles: print(title.text.strip()) ``` 这里采用的是LXML解析器配合BeautifulSoup来进行HTML解析工作，并从中抽取出了指定类别的标题文本。