### 使用 Selenium 遍历 URL 列表并提取 XPath 元素 以下是一个完整的实现方法，展示了如何使用 Selenium 遍历 URL 列表，并从每个 URL 中提取与指定 XPath 路径对应的元素内容。 #### 示例代码 ```python from selenium import webdriver from selenium.webdriver.common.by import By import time # 初始化 WebDriver（以 Chrome 为例） driver = webdriver.Chrome() # 定义 URL 列表 url_list = [ "https://example.com/page1", "https://example.com/page2", "https://example.com/page3" ] # 定义要提取的 XPath 路径 xpath_expression = "//div[@class='target-class']" # 遍历 URL 列表 for url in url_list: try: # 打开当前 URL driver.get(url) time.sleep(2) # 等待页面加载完成 # 查找匹配 XPath 的元素 elements = driver.find_elements(By.XPATH, xpath_expression) # 提取并打印元素文本内容 for element in elements: print(f"URL: {url}, Text: {element.text}") except Exception as e: print(f"处理 URL {url} 时发生错误: {str(e)}") # 关闭 WebDriver driver.quit() ``` #### 代码说明 1. **WebDriver 初始化**：通过 `webdriver.Chrome()` 初始化一个 Chrome 浏览器实例[^1]。 2. **URL 列表定义**：将需要遍历的 URL 存储在一个列表中。 3. **XPath 表达式定义**：指定要提取的元素路径。例如，`//div[@class='target-class']` 表示查找所有具有特定类名的 `<div>` 元素[^1]。 4. **遍历 URL 列表**：通过 `for` 循环逐一访问每个 URL，并使用 `driver.get(url)` 加载页面。 5. **等待页面加载**：通过 `time.sleep(2)` 模拟等待页面加载完成。在实际应用中，可以使用显式等待来替代固定时间等待[^3]。 6. **查找元素**：通过 `driver.find_elements(By.XPATH, xpath_expression)` 查找所有匹配的元素[^1]。 7. **提取文本**：使用 `element.text` 获取元素的文本内容，并将其打印到控制台。 8. **异常处理**：捕获可能发生的异常，并输出错误信息。 9. **关闭浏览器**：通过 `driver.quit()` 关闭 WebDriver 实例[^1]。 #### 注意事项 - 如果目标网站包含动态加载的内容（如 AJAX），需要结合显式等待或隐式等待来确保元素加载完成[^3]。 - 在实际项目中，建议根据需求优化等待策略，避免使用固定的 `time.sleep()`[^2]。 - 确保安装了 Selenium 库以及相应的浏览器驱动程序（如 ChromeDriver）。