### 如何用Python爬取带有分页的动态加载表格数据 对于带有分页的动态加载表格数据，通常需要处理JavaScript渲染的内容或者解析API接口返回的数据。以下是实现这一目标的具体方法： #### 方法一：模拟请求并解析API接口 许多网站会通过AJAX请求从服务器获取分页数据。可以通过浏览器开发者工具（F12）查看Network选项卡下的XHR请求，找到实际发送请求的URL及其参数。 ```python import requests def fetch_paginated_data(base_url, page_param_name, total_pages): all_data = [] headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' } for page_number in range(1, total_pages + 1): params = {page_param_name: page_number} response = requests.get(base_url, params=params, headers=headers) if response.status_code == 200: data = response.json() # 假设返回的是JSON格式 all_data.extend(data['results']) # 根据实际情况调整键名 else: print(f"Failed to retrieve data from page {page_number}") return all_data ``` 这种方法适用于能够直接访问API的情况[^3]。 #### 方法二：使用Selenium处理JavaScript渲染 如果网页中的分页内容是由JavaScript动态生成，则可以借助Selenium来模拟浏览器行为。 ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.chrome.service import Service as ChromeService from webdriver_manager.chrome import ChromeDriverManager def scrape_dynamic_tables(url, pagination_class, table_xpath): driver = webdriver.Chrome(service=ChromeService(ChromeDriverManager().install())) driver.get(url) all_rows = [] while True: try: # 获取当前页面表格数据 rows = driver.find_elements(By.XPATH, table_xpath) current_page_data = [row.text for row in rows] all_rows.extend(current_page_data) # 查找下一页按钮并点击 next_button = driver.find_element(By.CLASS_NAME, pagination_class) if not next_button.is_enabled(): break next_button.click() except Exception as e: print("No more pages or error occurred:", str(e)) break driver.quit() return all_rows ``` 此脚本利用Selenium逐步遍历每一页，并提取所需信息[^1]。 #### 方法三：结合Scrapy框架进行高效抓取 当面对复杂的多级嵌套链接或大量分页时，推荐使用Scrapy框架构建爬虫项目。 ```python import scrapy class PaginatedTableSpider(scrapy.Spider): name = "paginated_table" start_urls = ['http://example.com/page/1'] def parse(self, response): # 提取当前页面表格数据 for row in response.xpath('//table/tbody/tr'): yield { 'column_1': row.xpath('td[1]/text()').get(), 'column_2': row.xpath('td[2]/text()').get(), } # 跳转至下一页 next_page = response.css('.pagination a.next::attr(href)').get() if next_page is not None: yield response.follow(next_page, self.parse) ``` 上述代码展示了如何定义一个简单的Scrapy Spider类来完成分页表单的连续采集工作[^2]。 #### 总结 以上三种方式分别针对不同场景提供了解决方案。具体选择哪种取决于目标站点的技术特性和个人偏好。值得注意的是，在实施任何类型的Web Scraping活动之前，请务必阅读并遵守目标网站的服务条款以及当地法律法规[^4]。