以下是一个使用Python爬取网页视频的示例代码。这个例子假设目标网页上有一个直接链接到视频文件的`<video>`标签或`<a>`标签。我们将使用`requests`库下载网页内容，并用`BeautifulSoup`解析HTML，最后用`urllib`下载视频文件。 ### 示例代码 ```python import requests from bs4 import BeautifulSoup import os # 定义函数来下载视频 def download_video(video_url, save_path): """ 下载视频文件并保存到本地。 :param video_url: 视频文件的URL :param save_path: 保存视频的本地路径 """ response = requests.get(video_url, stream=True) if response.status_code == 200: # 打印进度 print(f"正在下载视频：{video_url}") with open(save_path, 'wb') as file: for chunk in response.iter_content(1024): # 每次读取1KB数据 file.write(chunk) print(f"视频已保存到：{save_path}") else: print(f"无法下载视频，状态码：{response.status_code}") # 定义函数来爬取网页中的视频链接 def scrape_video(url): """ 爬取网页并提取视频链接。 :param url: 目标网页的URL """ headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') # 查找所有可能包含视频链接的标签（如 <video> 和 <a>） video_tags = soup.find_all('video') a_tags = soup.find_all('a', href=True) video_urls = [] # 提取 <video> 标签中的 src 属性 for video in video_tags: if video.has_attr('src'): video_urls.append(video['src']) # 提取 <a> 标签中指向视频文件的 href 属性 for a in a_tags: href = a['href'] if href.endswith(('.mp4', '.webm', '.ogg')): # 判断是否为视频文件 video_urls.append(href) return video_urls else: print(f"无法访问网页，状态码：{response.status_code}") return [] # 主程序 if __name__ == "__main__": website_url = "https://example.com" # 替换为目标网页的URL video_urls = scrape_video(website_url) if video_urls: save_directory = "videos" # 保存视频的文件夹 if not os.path.exists(save_directory): os.makedirs(save_directory) for idx, video_url in enumerate(video_urls): save_path = os.path.join(save_directory, f"video_{idx + 1}.mp4") download_video(video_url, save_path) else: print("未找到任何视频链接。") ``` ### 代码解释 1. **导入必要的库**： - `requests`：用于发送HTTP请求，获取网页内容。 - `BeautifulSoup`：用于解析HTML文档，提取视频链接。 - `os`：用于创建文件夹和处理文件路径。 2. **`download_video` 函数**： - 接收视频的URL和保存路径作为参数。 - 使用`requests.get`以流式方式下载视频文件。 - 每次读取1KB的数据块并写入本地文件，避免一次性加载大文件占用过多内存。 3. **`scrape_video` 函数**： - 发送HTTP请求获取网页内容。 - 使用`BeautifulSoup`解析HTML文档。 - 查找所有的`<video>`标签和`<a>`标签，提取其中的视频链接。 4. **主程序逻辑**： - 调用`scrape_video`函数获取视频链接列表。 - 如果找到视频链接，则创建一个名为`videos`的文件夹，并将每个视频下载到该文件夹中。 ### 注意事项 - 请确保目标网页允许爬取其内容。如果目标网站设置了反爬机制（如robots.txt或验证码），需要额外处理。 - 需要安装依赖库：`pip install requests beautifulsoup4`。 --- ###