### 使用 Python 爬虫获取子页面内容的方法 在使用 Python 抓取网页子页面的内容时，通常需要先从主页面抓取链接列表，再逐一访问这些链接并提取所需的数据。以下是实现这一目标的具体方法： #### 方法概述 1. **发送 HTTP 请求**：利用 `requests` 库向主页面发送请求，获取其 HTML 内容。 2. **解析主页面结构**：通过 `BeautifulSoup` 解析主页面的 HTML，提取指向子页面的链接。 3. **遍历子页面链接**：对于每一个子页面链接，再次发送 HTTP 请求，并解析该页面的内容。 此过程涉及多个库的功能组合，例如 `requests` 用于网络请求，`BeautifulSoup` 和 `lxml` 用于解析 HTML 页面[^2]。 --- ### 示例代码 以下是一个完整的示例，展示如何从主页面抓取子页面的内容： ```python import requests from bs4 import BeautifulSoup def fetch_subpage_content(base_url, subpage_links_selector): """ 主函数：从主页面抓取子页面内容 :param base_url: 主页面 URL :param subpage_links_selector: 子页面链接的选择器 (CSS Selector) """ headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } # 发送请求获取主页面内容 response = requests.get(base_url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to load main page with status code {response.status_code}") soup_main_page = BeautifulSoup(response.text, 'lxml') # 提取子页面链接 subpage_links = [] for a_tag in soup_main_page.select(subpage_links_selector): href = a_tag.get('href') if href and not href.startswith('#'): subpage_links.append(href) # 访问每个子页面并提取内容 results = [] for link in subpage_links[:5]: # 只处理前五个子页面作为演示 try: sub_response = requests.get(link, headers=headers) if sub_response.status_code == 200: soup_subpage = BeautifulSoup(sub_response.text, 'lxml') # 假设我们要提取子页面中的标题和描述 title = soup_subpage.find('h1').text.strip() if soup_subpage.find('h1') else "No Title" description = soup_subpage.find('p', class_='description').text.strip() \ if soup_subpage.find('p', class_='description') else "No Description" results.append({ 'url': link, 'title': title, 'description': description }) except Exception as e: print(f"Error fetching content from {link}: {e}") return results if __name__ == "__main__": url = "https://example.com/main-page" # 替换为主页面的实际URL selector = ".subpage-link" # 替换为实际的 CSS 选择器 data = fetch_subpage_content(url, selector) for item in data: print(item) ``` 上述代码展示了如何从主页面抓取子页面链接，并进一步提取子页面的关键信息。注意，在实际应用中可能需要调整 CSS 选择器以匹配具体网站的 HTML 结构[^3]。 --- ### 处理反爬虫机制 部分网站会采取措施防止被频繁爬取，例如返回错误状态码（如 418），或者限制 IP 的访问频率。为了规避这些问题，可以采用以下策略： - 设置自定义的 User-Agent 字符串，伪装成浏览器访问。 - 添加随机延迟时间 (`time.sleep(random.uniform(1, 3))`) 来降低请求频率。 - 如果必要，可引入代理池或动态更换 IP 地址。 --- ### 数据存储 一旦成功抓取了子页面的内容，可以选择将其保存至文件或数据库中。常见的存储方式包括 CSV 文件、JSON 文件或关系型数据库（如 MySQL）。例如，将结果保存为 JSON 文件的代码如下所示： ```python import json with open('output.json', 'w', encoding='utf-8') as f: json.dump(data, f, ensure_ascii=False, indent=4) ``` 这一步骤有助于后续数据分析或其他用途[^1]。 ---