### 使用Python编写一个可以从输入链接中爬取视频和图片的爬虫程序 #### 1. **环境准备** 为了实现这个目标，首先需要安装几个必要的库。这些库包括但不限于 `requests`、`BeautifulSoup` 和 `re`。可以通过以下命令安装所需的库： ```bash pip install requests beautifulsoup4 ``` 此外，如果计划扩展功能或者处理更加复杂的网页结构，可以考虑使用 `Scrapy` 库[^2]。 --- #### 2. **代码实现** 下面提供了一个完整的 Python 爬虫脚本，该脚本能够接受用户输入的 URL 链接，并从中提取视频和图片的相关信息： ```python import requests from bs4 import BeautifulSoup import os import re def download_media(url, folder_name): """ 下载页面中的视频和图片资源。 :param url: 输入的目标URL :param folder_name: 存储下载媒体文件的文件夹名称 """ headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } try: # 发起请求并获取响应内容 response = requests.get(url, headers=headers) response.raise_for_status() # 检查HTTP状态码是否有误 soup = BeautifulSoup(response.text, 'html.parser') # 创建存储目录 if not os.path.exists(folder_name): os.makedirs(folder_name) # 图片抓取逻辑 images = soup.find_all('img') for idx, img in enumerate(images): src = img.get('src') or img.get('data-src') # 获取图片的真实路径 if not src.startswith(('http', '/')): continue # 排除相对路径或其他无效链接 if not src.startswith('http'): base_url = '{uri.scheme}://{uri.netloc}'.format(uri=response.url) src = f"{base_url}{src}" # 补全相对路径为绝对路径 try: image_response = requests.get(src, stream=True, headers=headers) file_extension = os.path.splitext(src)[1] or '.jpg' # 自动检测文件后缀名 filename = f'{folder_name}/image_{idx}{file_extension}' with open(filename, 'wb') as file: for chunk in image_response.iter_content(chunk_size=1024): if chunk: file.write(chunk) print(f"已成功下载图片: {filename}") except Exception as e: print(f"下载图片失败: {e}") # 视频抓取逻辑 videos = soup.find_all('video') + soup.find_all('source') # 查找<video>标签及其子标签<source> for vid_idx, video in enumerate(videos): src = video.get('src') or video.get('data-src') if not src or not src.startswith(('http', '/')): continue # 排除非有效的视频链接 if not src.startswith('http'): base_url = '{uri.scheme}://{uri.netloc}'.format(uri=response.url) src = f"{base_url}{src}" # 补全相对路径为绝对路径 try: video_response = requests.get(src, stream=True, headers=headers) file_extension = os.path.splitext(src)[1] or '.mp4' # 默认MP4格式 filename = f'{folder_name}/video_{vid_idx}{file_extension}' with open(filename, 'wb') as file: for chunk in video_response.iter_content(chunk_size=1024 * 1024): # 按MB分块写入 if chunk: file.write(chunk) print(f"已成功下载视频: {filename}") except Exception as e: print(f"下载视频失败: {e}") except Exception as e: print(f"发生错误: {e}") # 用户交互部分 if __name__ == "__main__": input_url = input("请输入要爬取的网址: ") output_folder = input("请输入保存文件的文件夹名称: ") download_media(input_url, output_folder) ``` --- #### 3. **代码解释** - **模块导入**: 导入了 `requests` 用于发起 HTTP 请求，`BeautifulSoup` 用于解析 HTML 文档，`os` 用于操作本地文件系统，`re` 则可用于正则匹配特定模式的内容[^2]。 - **函数定义**: 定义了 `download_media` 函数，负责接收目标 URL 并执行具体的爬取与下载任务。 - **图片抓取**: 使用 `<img>` 标签定位所有图片资源，并尝试下载它们至指定文件夹中[^4]。 - **视频抓取**: 同样基于 HTML 的 `<video>` 或者 `<source>` 标签查找视频资源，并完成下载过程[^1]。 - **异常处理**: 添加了全面的异常捕获机制以应对可能发生的网络连接中断等问题。 --- #### 4. **注意事项** - 在进行任何类型的网络数据采集活动之前，请务必阅读并遵守目标网站的服务条款以及当地法律法规的要求[^2]。 - 如果遇到反爬措施较严格的站点，则可能需要引入额外的技术手段（如设置随机 User-Agent、延时访问等策略）来规避被封禁的风险。 ---