在 Python 爬虫中，代理（Proxy）是一种非常重要的技术，它可以帮助我们隐藏真实 IP 地址，绕过网站的访问限制，从而提高爬虫的可用性和稳定性。 ### 一、为什么需要使用代理？ 1. **防止 IP 被封禁**：很多网站会对频繁访问的 IP 进行限制，使用代理可以避免被封。 2. **突破访问限制**：有些网站只允许特定地区的 IP 访问，使用代理可以伪装成目标地区的 IP。 3. **提高爬取效率**：通过代理池实现并发访问，降低单个 IP 的请求频率。 --- ### 二、代理的类型 | 类型 | 说明 | |------|------| | HTTP 代理 | 只能用于 HTTP 协议 | | HTTPS 代理 | 支持加密的 HTTPS 协议 | | SOCKS 代理 | 更底层的代理协议，支持多种协议（如 FTP、SSH 等） | --- ### 三、如何在 Python 中使用代理？ #### 1. 使用 `requests` 库设置代理 ```python import requests proxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080", } response = requests.get("http://example.com", proxies=proxies, timeout=5) print(response.text) ``` #### 2. 使用用户名密码认证的代理（如付费代理） ```python proxies = { "http": "http://user:password@192.168.1.10:3128", "https": "http://user:password@192.168.1.10:3128", } response = requests.get("http://example.com", proxies=proxies) ``` #### 3. 使用 `urllib.request` 设置代理 ```python import urllib.request proxy_handler = urllib.request.ProxyHandler({ 'http': 'http://10.10.1.10:3128', 'https': 'http://10.10.1.10:1080', }) opener = urllib.request.build_opener(proxy_handler) urllib.request.install_opener(opener) response = urllib.request.urlopen('http://example.com') print(response.read().decode()) ``` #### 4. 使用 Selenium 设置代理（带用户名密码认证） ```python from selenium import webdriver chrome_options = webdriver.ChromeOptions() chrome_options.add_argument('--proxy-server=http://10.10.1.10:3128') # 如果需要用户名密码认证，可以使用插件或扩展实现 driver = webdriver.Chrome(options=chrome_options) driver.get('http://example.com') ``` --- ### 四、代理池的构建 代理池可以自动切换代理，避免单一代理失效或被封： ```python import requests import random proxy_list = [ {"http": "http://192.168.1.10:3128"}, {"http": "http://192.168.1.11:3128"}, {"http": "http://192.168.1.12:3128"}, ] proxy = random.choice(proxy_list) response = requests.get("http://example.com", proxies=proxy, timeout=5) print(response.text) ``` --- ### 五、注意事项 - **代理质量**：免费代理可能不稳定，建议使用付费高质量代理。 - **超时设置**：设置合理的超时时间，避免因代理响应慢导致程序卡死。 - **异常处理**：代理可能失效，应加入异常处理机制。 ---