编写一个能够抓取网页内容并下载图片的Python爬虫涉及多个步骤和技术点。这里我们将创建一个基础版的图像爬虫示例，该爬虫可以从指定网站上获取所有图片链接并将它们保存到本地文件夹中。 为了实现这个目标，你需要安装一些必要的库： - `requests`：用于发起HTTP请求。 - `BeautifulSoup4 (bs4)` 或者 `lxml`: 用于解析HTML文档，提取其中的信息。 - `os` 和 `shutil`: 文件操作相关的标准库函数。 首先确保已经安装了所需的第三方包: ```bash pip install requests beautifulsoup4 lxml ``` 接下来是一个简单的例子代码片段： ```python import os import requests from bs4 import BeautifulSoup from urllib.parse import urljoin, urlparse from shutil import copyfileobj def download_image(url, folder_path): try: response = requests.get(url, stream=True) if not response.ok: print(f"Failed to get {url}") return # 获取文件名从URL路径部分 parsed_url = urlparse(url) file_name = os.path.basename(parsed_url.path) img_path = os.path.join(folder_path, file_name) with open(img_path, 'wb') as f: copyfileobj(response.raw, f) del response print(f'Successfully downloaded: {img_path}') except Exception as e: print(e) def fetch_images_from_page(page_url, output_folder='images'): """ 抓取页面内的所有图片，并将它们存储在一个给定目录下 参数: page_url : str - 目标网页地址. output_folder : str - 图像存放的目标文件夹，默认为当前工作目录下的'images'. 返回值: None """ if not os.path.exists(output_folder): os.makedirs(output_folder) headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 " "(KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } res = requests.get(page_url, headers=headers) soup = BeautifulSoup(res.text, features="html.parser") images = [] for img in soup.find_all('img'): # 查找所有的 <img> 标签 src = img.get("src") or '' full_src = urljoin(page_url, src.strip()) if valid_image(full_src): # 添加验证是否是有效的image URL的功能 images.append(full_src) for image_url in set(images): # 使用集合去重 download_image(image_url, output_folder=output_folder) # 辅助函数检查URL是否指向合法的图片 def valid_image(url): exts = ('jpg', 'jpeg', 'png', 'gif') parsed = urlparse(url.lower()) path_ext = os.path.splitext(parsed.path)[1][1:] return path_ext in exts and not any(part.startswith('.') for part in parsed.netloc.split('.')) if __name__ == '__main__': target_website = input("请输入要抓取图片的网址:") fetch_images_from_page(target_website) ``` 这段脚本会提示用户输入他们希望从中抓取图片的网址，然后自动查找并尝试下载每个找到的有效图片链接。请注意，这只是一个非常基本的例子，在实际部署前还需要考虑更多细节，比如错误处理、反爬措施应对等问题。 此外还要注意遵守网站的服务条款和法律法规，避免非法采集信息！