### 在Python爬虫中根据返回值判断并控制请求次数 在Python爬虫开发中，当需要根据返回值判断是否再次发送请求时，可以通过设置循环和条件语句来实现。以下是一个完整的解决方案[^5]。 #### 1. 设置最大重试次数 为了避免无限循环或不必要的请求，通常会设定一个最大重试次数。通过这种方式，可以在达到指定次数后停止尝试。 ```python import requests url = "https://example.com/api" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } max_retries = 5 # 最大重试次数 retry_count = 0 # 当前重试次数 while retry_count < max_retries: response = requests.get(url, headers=headers) if response.status_code == 200: # 检查HTTP状态码是否为200 data = response.json() if data.get("status") == "success": # 根据返回值判断是否成功 print("请求成功:", data) break else: print("请求失败，尝试重新请求...") retry_count += 1 else: print(f"HTTP请求失败，状态码: {response.status_code}，尝试重新请求...") retry_count += 1 else: print("达到最大重试次数，停止请求。") ``` #### 2. 处理加密参数的动态请求 对于某些需要动态生成参数（如AES加密）的接口，可以结合`execjs`库动态调用JavaScript代码生成请求参数[^4]。 ```python import requests import execjs url = "https://example.com/api" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36", "DataEncrypt": "dataEncrypt" } with open('./encrypt.js', 'r', encoding='utf-8') as f: js_code = f.read() ctx = execjs.compile(js_code) params = { "zylbS": ctx.call("generateParam", "BxW0COuaiuD38mZdOQ3w3A=="), "pageNum": ctx.call("generatePageNum", 1), "pageSize": ctx.call("generatePageSize", 10) } response = requests.get(url, headers=headers, params=params) if response.json().get("msg") == "处理成功": print("请求成功:", response.json()) else: print("请求失败，原因:", response.json().get("msg")) ``` #### 3. 使用POST请求并处理复杂数据结构 对于需要发送复杂数据结构（如JSON对象）的场景，可以通过`requests.post()`方法实现，并根据返回值决定是否再次请求[^2]。 ```python import requests url = "https://example.com/api" data = {"title": "foo", "body": "bar", "userId": 1} max_retries = 5 retry_count = 0 while retry_count < max_retries: response = requests.post(url, json=data) if response.status_code == 201: # 检查HTTP状态码是否为201（创建成功） result = response.json() if result.get("id"): # 根据返回值判断是否成功 print("请求成功:", result) break else: print("请求失败，尝试重新请求...") retry_count += 1 else: print(f"HTTP请求失败，状态码: {response.status_code}，尝试重新请求...") retry_count += 1 else: print("达到最大重试次数，停止请求。") ``` --- #### 注意事项 - 确保每次请求之间的间隔时间合理，以避免对目标服务器造成过大的压力[^3]。 - 对于需要登录验证的接口，应提前获取并设置好必要的Cookie或Token信息[^1]。 ---