在使用 Python 爬取网页时获取网站的分页总数通常涉及以下几个方面的处理： 1. **解析网页结构** 通过分析目标网站的 HTML 结构，找到分页部分的元素。例如，很多网站会在分页导航中使用 `<ul>` 或 `<div>` 包含多个表示页码的链接或按钮。可以使用 `BeautifulSoup` 或 `lxml` 解析 HTML 并提取这些信息。 ```python from bs4 import BeautifulSoup import requests url = 'https://example.com/products' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 假设分页链接包含在 <div class="pagination"> 中 pagination_div = soup.find('div', class_='pagination') page_links = pagination_div.find_all('a') total_pages = len(page_links) ``` 2. **动态加载内容与 JavaScript 渲染页面** 如果网站使用 JavaScript 动态生成分页内容（如通过 AJAX 请求），则需要使用支持渲染 JS 的工具，例如 `Selenium` 或 `Playwright`。 ```python from selenium import webdriver driver = webdriver.Chrome() driver.get('https://example.com/products') # 等待分页元素加载完成 pagination_element = driver.find_element_by_class_name('pagination') page_links = pagination_element.find_elements_by_tag_name('a') total_pages = len(page_links) ``` 3. **从 API 接口直接获取分页信息** 某些网站会通过 JSON API 返回分页数据，这种情况下可以直接调用 API 获取总页数，而无需解析 HTML。 ```python import requests api_url = 'https://api.example.com/products?page=1' response = requests.get(api_url).json() total_pages = response['total_pages'] # 假设 API 返回字段为 total_pages ``` 4. **基于 URL 模式推断分页总数** 有些网站的分页 URL 遵循特定模式，例如 `page=1`, `page=2`，可以通过尝试访问连续的页码直到返回空数据来确定最大页数。 ```python def get_total_pages(base_url): page = 1 while True: url = f'{base_url}?page={page}' response = requests.get(url) if 'No results found' in response.text: # 根据实际响应判断是否为空 return page - 1 page += 1 ``` 5. **处理反爬机制** 在进行网络请求时，某些网站可能设置了防爬虫机制，包括 IP 封锁、验证码等。可以考虑使用代理、设置请求头模拟浏览器行为等方式应对。 ```python headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) ``` ###