### Python 编写爬虫程序实现图片和视频文件下载 #### 1. 环境准备 为了编写一个功能强大的爬虫程序，首先需要安装必要的库。以下是常用的依赖项： - `requests`：用于发送HTTP请求。 - `BeautifulSoup` 或 `lxml`：解析HTML文档。 - `os` 和 `urllib.parse`：处理路径和URL。 可以通过以下命令安装所需库： ```bash pip install requests beautifulsoup4 lxml ``` --- #### 2. 图片爬取代码示例 下面是一个完整的Python脚本，用于从指定网站抓取图片： ```python import os import requests from bs4 import BeautifulSoup from urllib.parse import urljoin def download_image(url, save_path): try: response = requests.get(url, stream=True) if response.status_code == 200: with open(save_path, 'wb') as file: for chunk in response.iter_content(1024): file.write(chunk) print(f"成功保存图片: {save_path}") except Exception as e: print(f"下载失败: {e}") def crawl_images(base_url, target_dir="./images"): if not os.path.exists(target_dir): os.makedirs(target_dir) headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } response = requests.get(base_url, headers=headers) soup = BeautifulSoup(response.text, 'lxml') image_tags = soup.find_all('img') for img in image_tags: src = img.get('src') or img.get('data-original') # 支持多种属性名 if not src: continue full_url = urljoin(base_url, src) filename = os.path.join(target_dir, os.path.basename(full_url)) download_image(full_url, filename) if __name__ == "__main__": base_url = input("请输入要爬取的网址: ") crawl_images(base_url) ``` 此代码会自动创建目录存储图片，并支持相对路径转换为绝对路径[^1]。 --- #### 3. 视频爬取代码示例 下面是针对视频资源的爬取逻辑： ```python import os import requests from bs4 import BeautifulSoup from urllib.parse import urljoin def download_video(url, save_path): try: response = requests.get(url, stream=True) if response.status_code == 200: with open(save_path, 'wb') as file: for chunk in response.iter_content(1024 * 1024): # 按MB分块读取 if chunk: file.write(chunk) print(f"成功保存视频: {save_path}") except Exception as e: print(f"下载失败: {e}") def crawl_videos(base_url, target_dir="./videos"): if not os.path.exists(target_dir): os.makedirs(target_dir) headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } response = requests.get(base_url, headers=headers) soup = BeautifulSoup(response.text, 'lxml') video_tags = soup.find_all('video') for video in video_tags: src = video.get('src') or video.find('source').get('src') # 获取<video>或<source>中的链接 if not src: continue full_url = urljoin(base_url, src) filename = os.path.join(target_dir, os.path.basename(full_url)) download_video(full_url, filename) if __name__ == "__main__": base_url = input("请输入要爬取的网址: ") crawl_videos(base_url) ``` 这段代码同样考虑了动态加载的内容，能够提取嵌套在 `<video>` 标签内的源地址[^5]。 --- #### 4. 注意事项 - **合法性**：确保遵守目标网站的 `robots.txt` 协议，避免侵犯版权[^3]。 - **性能优化**：如果页面较大或者数据量较多，建议引入异步框架（如 `aiohttp`），提升并发能力。 - **异常处理**：增加更多的错误捕获机制，防止因网络波动或其他原因中断程序执行。 --- #### 5. 扩展功能 除了基本的图片和视频爬取外，还可以扩展如下功能： - 自动翻页抓取多个页面的数据。 - 使用代理池规避IP封禁风险。 - 增加日志记录模块以便调试分析。 ---