在使用 Python 的 Selenium 爬取网页中多页表格数据时，如果无法确定总页数，通常需要根据网页结构动态判断分页的结束条件。以下是几种常见策略： ### 1. **通过分页控件识别总页数** 许多网页会在分页导航栏中显示总页数或最后一页的链接。可以通过定位分页导航元素并提取相关文本或链接数量来推算总页数。例如，查找包含页码的 `<li>` 或 `<a>` 元素并统计其数量。 ```python from selenium import webdriver driver = webdriver.Chrome() driver.get("https://example.com/table") # 假设分页链接在 class="pagination" 的 div 中 pagination = driver.find_element("css selector", ".pagination") page_links = pagination.find_elements("tag name", "a") total_pages = len(page_links) # 估算总页数 ``` ### 2. **通过动态加载判断分页结束** 某些网站不会直接显示总页数，而是通过“下一页”按钮是否存在来判断是否到达最后一页。可以在每次翻页后检查“下一页”按钮是否可用，若不可点击或不存在则停止爬取。 ```python next_button = driver.find_element("id", "next_page_button") while next_button.is_enabled(): # 爬取当前页表格数据 next_button.click() # 重新定位按钮（可能需要重新查找元素） ``` ### 3. **通过 URL 参数变化推算总页数** 有些网站的分页 URL 会以参数形式传递页码（如 `?page=1`），可以尝试递增页码直到返回空数据或 404 页面。此方法适用于静态分页网站。 ```python import requests page_num = 1 while True: url = f"https://example.com/table?page={page_num}" response = requests.get(url) if "No data found" in response.text: break # 解析并保存当前页数据 page_num += 1 ``` ### 4. **结合 JavaScript 执行获取分页信息** 如果网页使用 JavaScript 动态生成分页信息，可以通过 `execute_script` 执行脚本获取当前页码或总页数。 ```python current_page = driver.execute_script("return window.currentPage;") total_pages = driver.execute_script("return window.totalPages;") ``` ### 5. **异常处理与容错机制** 在爬取过程中，应加入异常处理逻辑，防止因网络波动或页面结构变化导致程序中断。例如使用 `try-except` 捕获元素未找到异常。 ```python from selenium.common import exceptions try: next_button = driver.find_element("id", "next_page_button") next_button.click() except exceptions.NoSuchElementException: print("已到达最后一页") break ``` ### 6. **模拟用户行为翻页** 部分网站的分页逻辑较为复杂，可能需要模拟用户输入页码并点击“跳转”按钮来实现翻页。 ```python page_input = driver.find_element("id", "page_input") page_input.clear() page_input.send_keys(str(current_page + 1)) submit_button = driver.find_element("id", "go_button") submit_button.click() ``` ---