### 使用Python编写爬取网页视频的代码示例 #### 1. 使用 `requests` 和 `BeautifulSoup` 如果目标网页中的视频链接可以通过静态 HTML 获取，则可以使用 `requests` 和 `BeautifulSoup` 来实现。以下是具体代码示例： ```python import requests from bs4 import BeautifulSoup def scrape_videos(url): headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'} response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to load page {url}") soup = BeautifulSoup(response.text, "html.parser") video_tags = soup.find_all("video") # 查找所有的<video>标签 videos = [] for tag in video_tags: src = tag.get("src", None) if src is not None and ("http://" in src or "https://" in src): # 确保是绝对路径 videos.append(src) return videos # 示例调用 videos = scrape_videos("https://example.com/videos-page") for idx, video_url in enumerate(videos, start=1): print(f"{idx}. Video URL: {video_url}") ``` 此方法适用于简单的静态页面，其中 `<video>` 标签可以直接通过解析 HTML 提取[^3]。 --- #### 2. 使用 `Selenium` 处理动态加载的视频 如果视频是由 JavaScript 动态加载的，或者需要模拟用户行为（如点击播放按钮），则推荐使用 `Selenium` 库。以下是一个基于 Selenium 的示例代码： ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.chrome.service import Service as ChromeService from webdriver_manager.chrome import ChromeDriverManager def scrape_dynamic_videos(url): options = webdriver.ChromeOptions() options.add_argument('--headless') # 隐藏浏览器窗口 driver = webdriver.Chrome(service=ChromeService(ChromeDriverManager().install()), options=options) try: driver.get(url) video_elements = driver.find_elements(By.TAG_NAME, "video") # 找到所有<video>标签 videos = [] for element in video_elements: src = element.get_attribute("src") if src and ("http://" in src or "https://" in src): # 确保是绝对路径 videos.append(src) return videos finally: driver.quit() # 示例调用 dynamic_videos = scrape_dynamic_videos("https://example.com/dynamic-videos-page") for idx, video_url in enumerate(dynamic_videos, start=1): print(f"{idx}. Dynamic Video URL: {video_url}") ``` 这种方法能够处理复杂的动态内容，并支持模拟用户的交互操作[^1]。 --- #### 3. 下载视频文件 无论是通过 `requests` 还是 `Selenium` 获取的视频链接，都可以进一步下载视频文件至本地存储。以下是一段通用的下载函数： ```python import os import requests def download_video(video_url, save_path="downloads"): if not os.path.exists(save_path): os.makedirs(save_path) file_name = os.path.join(save_path, video_url.split("/")[-1]) with open(file_name, "wb") as f: response = requests.get(video_url, stream=True) total_length = response.headers.get('content-length') if total_length is None: # 如果没有Content-Length头字段 f.write(response.content) else: dl = 0 total_length = int(total_length) for data in response.iter_content(chunk_size=4096): dl += len(data) f.write(data) done = int(50 * dl / total_length) print("\r[%s%s]" % ('=' * done, ' ' * (50-done)), end='', flush=True) print(f"\nVideo downloaded at: {file_name}") # 示例调用 download_video("https://example.com/path/to/video.mp4") ``` 该函数会将视频保存到指定目录下，并显示进度条[^4]。 --- ### 注意事项 - **合法性**：在抓取任何网站之前，请务必阅读并遵守其服务条款和 robots.txt 文件的规定。 - **反爬机制**：某些网站可能具有严格的反爬措施，建议设置合理的请求间隔时间以降低被封禁的风险。 - **依赖项管理**：确保已安装所需的库 (`pip install requests beautifulsoup4 selenium`) 并配置好 WebDriver。 ---