### 3. 使用 Selenium 模拟真实用户操作 对于包含 JavaScript 渲染或复杂行为检测的网站，可以使用 **Selenium** 或 **Playwright** 等浏览器自动化工具来模拟真实用户的操作。这些工具能够加载完整的网页环境，并执行 JavaScript 脚本，从而更有效地绕过部分反爬机制。 例如，使用 `selenium` 登录一个网站并处理可能出现的 CAPTCHA： ```python from selenium import webdriver from selenium.webdriver.chrome.options import Options import time chrome_options = Options() chrome_options.add_argument("--headless") # 无头模式 chrome_options.add_argument("--disable-gpu") chrome_options.add_argument("--no-sandbox") driver = webdriver.Chrome(options=chrome_options) driver.get("https://example.com/login") # 定位用户名和密码输入框 username_input = driver.find_element("name", "username") password_input = driver.find_element("name", "password") # 输入登录信息 username_input.send_keys("your_username") password_input.send_keys("your_password") # 提交表单 login_button = driver.find_element("name", "submit") login_button.click() # 检查是否出现验证码（CAPTCHA） if "captcha" in driver.current_url: print("需要手动处理验证码，请在页面上完成验证") time.sleep(10) # 留出时间进行人工干预 # 获取登录后的页面内容 print(driver.page_source) driver.quit() ``` 此方法适用于需要与前端交互、动态加载内容或触发 JavaScript 的场景[^1]。 --- ### 3. 使用第三方验证码识别服务 当遇到 reCAPTCHA、hCaptcha 或其他复杂验证码时，可借助第三方平台如 **2Captcha**、**Anti-Captcha** 或 **Kolotibablo** 来自动识别验证码。这些平台通常提供 API 接口，支持多种类型的验证码识别，并由人工或 AI 模型完成识别任务。 以 2Captcha 为例，调用流程如下： ```python from twocaptcha import TwoCaptcha solver = TwoCaptcha(apiKey='YOUR_API_KEY') result = solver.normal('captcha.png') # 上传验证码图片 print(result['code']) # 输出识别结果 ``` 该方式适合对成功率要求较高且预算允许的项目[^1]。 --- ### 3. 使用 OCR 技术识别简单验证码 对于简单的文本类验证码，可使用 Tesseract OCR 引擎配合 Python 的 `pytesseract` 和 `Pillow` 库进行识别： ```bash pip install pytesseract pillow ``` ```python from PIL import Image import pytesseract # 打开验证码图像文件 img = Image.open('captcha.png') # 使用 pytesseract 进行 OCR 识别 text = pytesseract.image_to_string(img) print(text) ``` 需要注意的是，Tesseract 对于带有干扰线、噪声背景或变形字体的验证码识别效果较差，需结合图像预处理技术提升准确率[^1]。 --- ### 3. 使用代理 IP 和请求头伪装降低被封禁概率 为了防止被目标网站识别为爬虫，建议使用代理池轮换 IP 地址，并设置随机 User-Agent 和 Referer 请求头，使请求更接近真实用户的访问行为。 示例代码如下： ```python import requests import random headers = { 'User-Agent': random.choice([ 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.2 Safari/605.1.15' ]), 'Referer': 'https://www.google.com/' } proxies = { 'http': 'http://user:pass@10.10.1.10:3128', 'https': 'http://10.10.1.10:1080' } response = requests.get('https://example.com', headers=headers, proxies=proxies) print(response.text) ``` 通过这种方式，可以有效规避基于 IP 和请求特征的封锁策略。 --- ###