在爬取需要密码保护的视频资源时，必须首先确保行为符合法律和平台条款，未经授权的爬取行为可能涉及法律风险。若目标网站提供合法的 API 接口或授权机制，应优先使用官方提供的方法进行数据获取。 对于需要密码保护的视频资源，通常需要模拟登录或使用令牌（token）来获取访问权限。以下是一种基于 `requests` 和 `BeautifulSoup` 的实现思路，适用于存在登录验证的网站。 ### 实现步骤 #### 1. 分析目标网站登录机制 使用浏览器开发者工具（F12）查看登录请求的 URL、请求方式（POST/GET）、表单字段（如 username、password）以及是否包含验证码或 CSRF 令牌。 #### 2. 模拟登录获取会话 使用 `requests.Session()` 保持会话状态，并发送登录请求。 ```python import requests from bs4 import BeautifulSoup # 登录页面URL和登录接口URL login_page_url = 'https://example.com/login' login_api_url = 'https://example.com/login_process' # 用户名和密码 payload = { 'username': 'your_username', 'password': 'your_password' } # 创建会话对象 session = requests.Session() # 获取登录页面的CSRF Token（如有） response = session.get(login_page_url) soup = BeautifulSoup(response.text, 'html.parser') csrf_token = soup.find('input', {'name': 'csrf_token'})['value'] payload['csrf_token'] = csrf_token # 发送登录请求 login_response = session.post(login_api_url, data=payload) # 检查是否登录成功 if login_response.status_code == 200: print("登录成功") else: print("登录失败") ``` #### 3. 请求受保护的视频页面 在登录成功后，使用 `session` 对象访问受保护的视频页面。 ```python video_url = 'https://example.com/protected_video' video_response = session.get(video_url) # 解析视频页面获取视频链接 soup = BeautifulSoup(video_response.text, 'html.parser') video_tag = soup.find('video') video_source = video_tag.find('source')['src'] # 假设视频链接在<source>标签中 ``` #### 4. 下载视频文件 使用 `requests` 下载视频文件并保存到本地。 ```python video_data = session.get(video_source, stream=True) with open('downloaded_video.mp4', 'wb') as f: for chunk in video_data.iter_content(chunk_size=1024): if chunk: f.write(chunk) print("视频下载完成") ``` ### 注意事项 - **验证码处理**：若登录过程中包含验证码，需使用第三方 OCR 工具（如 `pytesseract`）或手动输入。 - **反爬虫机制**：部分网站会检测爬虫行为，建议设置 `headers` 模拟浏览器访问。 - **动态加载内容**：若视频链接由 JavaScript 动态加载，需使用 `Selenium` 或 `Playwright` 等工具模拟浏览器环境。 ### 示例完整代码 ```python import requests from bs4 import BeautifulSoup # 登录信息 login_page_url = 'https://example.com/login' login_api_url = 'https://example.com/login_process' video_url = 'https://example.com/protected_video' payload = { 'username': 'your_username', 'password': 'your_password' } session = requests.Session() # 获取CSRF Token response = session.get(login_page_url) soup = BeautifulSoup(response.text, 'html.parser') csrf_token = soup.find('input', {'name': 'csrf_token'})['value'] payload['csrf_token'] = csrf_token # 登录 login_response = session.post(login_api_url, data=payload) if login_response.status_code == 200: print("登录成功") else: print("登录失败") exit() # 获取视频链接 video_response = session.get(video_url) soup = BeautifulSoup(video_response.text, 'html.parser') video_source = soup.find('source')['src'] # 下载视频 video_data = session.get(video_source, stream=True) with open('downloaded_video.mp4', 'wb') as f: for chunk in video_data.iter_content(chunk_size=1024): if chunk: f.write(chunk) print("视频下载完成") ``` ###