### 使用 Python 进行网页图片爬取 为了实现网页图片的爬取，准备工作必不可少。这包括确保环境配置正确以及所需库已安装完毕[^2]。 #### 安装依赖库 通常情况下，`requests` 和 `BeautifulSoup` 是两个非常重要的工具。前者用于发起 HTTP 请求并接收响应；后者则负责解析 HTML 文档以便提取有用的信息。另外，对于处理图像下载路径等问题时，可能还会用到 `os` 库来管理文件夹结构。 ```bash pip install requests beautifulsoup4 ``` #### 获取页面源码 利用 `requests.get()` 方法可以轻松地向目标网站发送 GET 请求，并保存返回的内容作为字符串形式存储于变量之中。需要注意的是，在请求过程中应当设置合适的 User-Agent 头部信息以免被服务器识别为恶意访问而遭到封禁。 ```python import requests url = 'https://example.com' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' } response = requests.get(url, headers=headers) html_content = response.text ``` #### 解析HTML文档寻找img标签 有了完整的 HTML 字符串之后，下一步就是从中筛选出所有的 `<img>` 标签及其属性中的 src 值——即实际指向每张图片资源的具体 URL 地址。这里推荐使用 BeautifulSoup 来完成这项任务，它支持多种解析器，默认采用 lxml 或 html.parser 即可满足大多数场景下的需求。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, 'lxml') images = soup.find_all('img') # 找到所有 img 标签 image_urls = [img['src'] for img in images if 'src' in img.attrs] ``` #### 下载图片至本地磁盘 最后一步便是遍历上述收集起来的所有图片链接地址列表，依次调用 `urllib.request.urlretrieve()` 函数将其对应的二进制流保存成物理文件。在此之前最好先创建一个专门用来存放这些素材的新目录以防混乱。 ```python import os import urllib.request if not os.path.exists('./downloaded_images'): os.makedirs('./downloaded_images') for i, url in enumerate(image_urls): try: filename = f"./downloaded_images/image_{i}.jpg" urllib.request.urlretrieve(url, filename=filename) print(f'Successfully downloaded {filename}') except Exception as e: print(f'Failed to download image from {url}:', str(e)) ``` 以上就是一个简单的基于 Python 的网页图片抓取脚本示例。