### 使用 Python Selenium 进行网页爬取 为了通过 Python 和 Selenium 实现点击链接并进入新页面后抓取内容的功能，需遵循一系列特定的操作流程。确保已安装所需的环境和工具，包括 Python 3.7 或更高版本、Selenium 库以及 WebDriver Manager 来自动处理浏览器驱动程序的配置[^1]。 #### 安装必要的库 在开始之前，确认所有必需的包都已正确安装。可以通过 pip 工具来安装这些依赖项： ```bash pip install selenium webdriver-manager ``` #### 初始化 WebDriver 并打开目标网站 创建一个新的 Chrome 浏览器实例，并导航至要爬取的目标网址。这一步骤对于启动整个过程至关重要。 ```python from selenium import webdriver from webdriver_manager.chrome import ChromeDriverManager driver = webdriver.Chrome(ChromeDriverManager().install()) url = 'https://example.com' driver.get(url) ``` #### 查找并点击链接 定位到想要点击的超链接元素，通常可以利用 XPath、CSS Selector 或者其他属性来进行精准匹配。一旦找到该元素，调用 `click()` 方法模拟用户的点击行为。 ```python link_element = driver.find_element_by_xpath('//a[@href="desired_link"]') # 替换为实际路径 link_element.click() ``` #### 切换窗口句柄以访问新开页面的内容 当点击链接触发了一个新的浏览器标签页或窗口时，需要切换当前操作上下文以便于读取新加载的数据。每打开一次新的标签页/窗口都会生成唯一的 window handle ID，可通过遍历 handles 属性获得最新的那个。 ```python original_window = driver.current_window_handle for window_handle in driver.window_handles: if window_handle != original_window: driver.switch_to.window(window_handle) # 此处可继续执行后续的 DOM 操作... html_content = driver.page_source print(html_content[:500]) # 打印部分HTML源码查看效果 ``` #### 关闭不再使用的窗口 完成所需的任务之后，记得关闭不需要保持开启状态的新窗口，最后返回原始窗口继续工作流。 ```python driver.close() # 只会关闭当前活动窗口 driver.switch_to.window(original_window) # 返回初始窗口 ``` #### 清理资源 结束所有的浏览会话，释放占用的系统资源。 ```python driver.quit() ``` 上述代码片段展示了如何使用 Python 结合 Selenium 库实现从一个页面跳转到另一个页面的过程，并从中提取有用的信息。注意每次运行脚本前都要检查所选的选择器是否仍然有效，因为 Web 页面结构可能会随时间变化而改变[^4]。