### 如何使用Python实现网页爬虫抓取API接口返回的数据 #### 准备工作 在开始之前，确保安装了必要的库。`requests` 是一个常用的HTTP请求库，可以方便地发送GET/POST请求并处理响应。 ```bash pip install requests ``` #### 发送HTTP请求 要从API接口获取数据，通常需要向指定URL发送HTTP GET或POST请求。下面是一个基本的例子： ```python import requests url = "https://api.example.com/data" response = requests.get(url) if response.status_code == 200: data = response.json() # 假设服务器返回JSON格式的数据 else: print(f"Failed to retrieve data, status code: {response.status_code}") ``` 这段代码展示了如何构建一个简单的GET请求来调用API，并检查状态码以确认请求成功与否[^3]。 #### 处理分页数据 许多API会采用分页的方式来限制每次查询的结果数量。对于这种情况，可以通过循环遍历所有页面直到没有更多记录为止。 ```python page_number = 1 all_data = [] while True: url_with_page = f"https://api.example.com/data?page={page_number}" resp = requests.get(url_with_page) if resp.status_code != 200 or not resp.json().get('results'): break all_data.extend(resp.json()['results']) page_number += 1 print(all_data) ``` 此脚本实现了自动翻阅多页的功能，直至遇到空结果集停止。 #### 设置自定义头部信息 某些API可能要求设置特定的Header字段，比如身份验证令牌或者用户代理字符串。这可以通过传递字典给headers参数完成配置。 ```python headers = { 'Authorization': 'Bearer YOUR_ACCESS_TOKEN', 'User-Agent': 'MyCustomCrawler (contact@example.org)' } resp = requests.get('https://secure.api.example.com/private', headers=headers) data = resp.json() ``` 这里设置了两个常见的header项：一个是用于认证目的的授权token；另一个是指定浏览器类型的user-agent。 #### 错误处理机制 实际开发过程中不可避免会出现各种异常情况，因此加入适当的错误捕捉逻辑是非常重要的。 ```python try: r = requests.get("http://nonexistentwebsite", timeout=5) except requests.exceptions.RequestException as e: print(e) finally: pass ``` 上述片段示范了一个基础版的异常捕获模式，它可以在网络连接失败或者其他意外状况发生时给出提示而不是让整个程序崩溃。