### 使用 BeautifulSoup4 爬取网页上的所有图片并保存到本地 以下是通过 Python 的 `requests` 和 `BeautifulSoup4` 库实现爬取网页上所有图片并将它们保存到本地的代码示例： ```python import os import requests from bs4 import BeautifulSoup from urllib.parse import urljoin, urlparse def fetch_and_save_images(url, save_directory): # 创建保存目录 if not os.path.exists(save_directory): os.makedirs(save_directory) try: response = requests.get(url) response.raise_for_status() # 检查请求状态码是否正常[^1] soup = BeautifulSoup(response.text, 'html.parser') images = [] for img_tag in soup.find_all('img'): src = img_tag.attrs.get("src") # 获取图片链接 if not src: continue # 将相对路径转换为绝对路径 image_url = urljoin(url, src) # 过滤掉非图片文件 parsed_image_url = urlparse(image_url.lower()) if any(parsed_image_url.path.endswith(ext) for ext in ['.png', '.jpg', '.jpeg', '.gif']): images.append(image_url) for idx, image_url in enumerate(images): try: image_response = requests.get(image_url, stream=True) image_response.raise_for_status() # 提取文件名 filename = os.path.join(save_directory, f"{idx}_{os.path.basename(urlparse(image_url).path)}") with open(filename, 'wb') as file: for chunk in image_response.iter_content(1024): # 下载大文件时分块写入 file.write(chunk) print(f"已下载 {image_url} 到 {filename}") except Exception as e: print(f"无法下载 {image_url}: {e}") except Exception as e: print(f"发生错误: {e}") # 调用函数 url_to_scrape = "https://example.com" save_dir = "./downloaded_images" fetch_and_save_images(url_to_scrape, save_dir) ``` #### 解析说明 - **创建保存目录**: 如果指定的保存目录不存在，则会自动创建该目录。 - **获取 HTML 页面内容**: 使用 `requests.get()` 方法访问目标 URL 并提取页面的内容。 - **解析 HTML 文档**: 使用 `BeautifulSoup` 对 HTML 内容进行解析，查找所有的 `<img>` 标签。 - **处理图片链接**: 遍历找到的所有 `<img>` 标签中的 `src` 属性，并将其转化为完整的 URL 地址。如果某些 `src` 是相对地址，则使用 `urljoin` 函数将其转为绝对地址。 - **过滤非图片资源**: 只保留扩展名为 `.png`, `.jpg`, `.jpeg`, 或 `.gif` 的资源。 - **下载图片**: 使用 `requests.get(stream=True)` 来逐块读取远程图片数据流，并将其存储至本地磁盘。 此方法能够有效抓取网页内的所有图片资源，并妥善地存放到指定位置[^2]。