### 如何使用 Python 的 `requests` 库下载 ZIP 文件并处理反爬虫机制 在使用 Python 的 `requests` 库下载 ZIP 文件时，需要确保正确设置请求头以模拟浏览器行为，并可能需要处理网站的反爬虫机制。以下是一个完整的解决方案[^1]。 #### 1. 使用 `requests` 下载 ZIP 文件 通过 `requests.get()` 方法发送 HTTP 请求，并将响应内容写入本地文件。代码示例如下： ```python import requests def download_zip_file(url, save_path): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } response = requests.get(url, headers=headers, stream=True) if response.status_code == 200: with open(save_path, 'wb') as file: for chunk in response.iter_content(chunk_size=1024): if chunk: file.write(chunk) print(f"ZIP 文件已成功下载至 {save_path}") else: print(f"下载失败，状态码：{response.status_code}") # 示例调用 url = "https://example.com/sample.zip" # 替换为目标 ZIP 文件的 URL save_path = "sample.zip" # 保存路径 download_zip_file(url, save_path) ``` #### 2. 处理反爬虫机制 为了规避反爬虫机制，可以采取以下措施： - **设置随机 User-Agent**：使用 `fake_useragent` 库生成随机的 User-Agent 字符串[^4]。 - **添加请求头**：除了 User-Agent，还可以添加其他常见请求头（如 `Referer` 和 `Accept-Language`）以模拟真实浏览器。 - **控制请求频率**：通过 `time.sleep()` 方法设置请求间隔，避免因频繁访问触发反爬虫机制。 - **使用代理 IP**：如果目标网站对单一 IP 的访问次数有限制，可以通过代理池切换 IP 地址。 以下是改进后的代码示例，包含随机 User-Agent 和代理设置： ```python import requests from fake_useragent import UserAgent import time def download_zip_with_anti_crawler(url, save_path, proxy=None): ua = UserAgent() headers = { "User-Agent": ua.random, "Referer": "https://example.com", # 替换为实际的 Referer "Accept-Language": "zh-CN,zh;q=0.9" } proxies = {"http": proxy, "https": proxy} if proxy else None response = requests.get(url, headers=headers, proxies=proxies, stream=True) if response.status_code == 200: with open(save_path, 'wb') as file: for chunk in response.iter_content(chunk_size=1024): if chunk: file.write(chunk) print(f"ZIP 文件已成功下载至 {save_path}") else: print(f"下载失败，状态码：{response.status_code}") # 示例调用 url = "https://example.com/sample.zip" save_path = "sample.zip" proxy = "http://123.45.67.89:1080" # 可选代理地址 download_zip_with_anti_crawler(url, save_path, proxy) time.sleep(2) # 控制请求间隔 ``` #### 3. 注意事项 - 如果目标网站启用了更复杂的反爬虫机制（如验证码或 JavaScript 动态加载），可能需要结合 `selenium` 或 `pyppeteer` 等工具模拟浏览器行为。 - 在实际开发中，请遵守目标网站的 `robots.txt` 文件规定，尊重网站的爬取限制。