### 使用 BeautifulSoup4 和 Requests 爬取网页中的所有图片并保存到本地 以下是通过 Python 的 `requests` 和 `BeautifulSoup4` 库实现爬取网页上所有图片并将它们保存到本地的代码示例： ```python import os import requests from bs4 import BeautifulSoup from urllib.parse import urljoin def download_images_from_webpage(url, output_folder): """ 下载指定网页上的所有图片，并保存到指定文件夹。 参数: url (str): 要爬取的目标网页URL。 output_folder (str): 图片保存的本地文件夹路径。 """ # 发起 HTTP 请求获取网页内容 response = requests.get(url) response.raise_for_status() # 检查请求是否成功[^4] # 解析 HTML 内容 soup = BeautifulSoup(response.text, 'html.parser') # 创建输出文件夹（如果不存在） if not os.path.exists(output_folder): os.makedirs(output_folder) # 查找所有的 <img> 标签 img_tags = soup.find_all('img') total_images = len(img_tags) downloaded_count = 0 for img in img_tags: # 获取图片的真实 URL img_url = img.attrs.get('src') or img.attrs.get('data-src') if not img_url: continue # 处理相对路径的情况 full_img_url = urljoin(url, img_url.strip()) # 过滤掉无效链接或非图片资源 if not full_img_url.lower().endswith(('.png', '.jpg', '.jpeg', '.gif')): continue try: # 下载图片 img_data = requests.get(full_img_url).content file_name = os.path.basename(full_img_url) file_path = os.path.join(output_folder, file_name) with open(file_path, 'wb') as f: f.write(img_data) downloaded_count += 1 print(f"已下载 {file_name} ({downloaded_count}/{total_images})") except Exception as e: print(f"无法下载 {full_img_url}: {e}") if __name__ == "__main__": target_url = "https://example.com" # 替换为目标网页的实际 URL save_directory = "./images" # 设置保存图片的本地文件夹 download_images_from_webpage(target_url, save_directory) ``` --- #### 功能解析 - **发起 HTTP 请求**: 使用 `requests.get()` 方法访问目标网页，确保返回的状态码为 200 表明请求成功。 - **HTML 解析**: 利用 `BeautifulSoup` 对响应的 HTML 文本进行解析，提取其中的所有 `<img>` 标签。 - **处理图片链接**: - 若 `<img>` 标签存在 `src` 或 `data-src` 属性，则尝试从中提取图片 URL。 - 如果是相对路径，使用 `urljoin` 将其转换为绝对路径。 - **过滤非图片资源**: 仅保留以常见图片格式结尾的链接（如 `.png`, `.jpg`, `.jpeg`, `.gif`）。 - **下载与保存**: 使用 `requests.get()` 下载图片数据，并将其写入本地文件系统。 --- #### 注意事项 - **异常处理**: 在实际运行过程中可能会遇到网络连接失败或其他问题，因此需加入适当的异常捕获逻辑。 - **重复命名冲突**: 当前代码假设每张图片的名字唯一。如果有重名情况，可能需要额外处理以避免覆盖。 - **性能优化**: 对于大规模爬取任务，可考虑引入多线程或多进程技术提升效率。 ---