在使用 Python 自动化爬取网页图片并保存到本地时，通常会使用 `urllib.request` 或 `requests` 库来获取网页内容和图片资源。以下是几种常见的实现方式，结合了正则表达式和 XPath 解析网页内容。 ### 使用 `urllib.request` 和正则表达式抓取图片 这种方法适合于直接解析 HTML 文本，并通过正则表达式提取图片链接。 ```python import re import urllib.request # 获取网页 HTML 内容 def getHtml(url): page = urllib.request.urlopen(url) return page.read().decode('UTF-8') # 提取图片链接 def getImg(html): reg = r'src="([.*\S]*\.jpg)" pic_ext="jpeg"' imgre = re.compile(reg) return imgre.findall(html) # 下载图片到本地 def downloadImages(imgList, folderPath='../pic/'): count = 0 for imgPath in imgList: with open(folderPath + str(count) + ".jpg", 'wb') as f: f.write(urllib.request.urlopen(imgPath).read()) count += 1 print("全部抓取完成") # 主程序 html = getHtml("http://tieba.baidu.com/p/3205263090") imgList = getImg(html) downloadImages(imgList) ``` ### 使用 `requests` 和 XPath 抓取图片 这种方法适用于结构化较强的网页，通过 `lxml` 库的 XPath 解析来提取图片链接。 ```python import requests from lxml import etree import os # 设置请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } # 获取网页内容 def getHtml(url): response = requests.get(url, headers=headers) return response.text # 解析图片链接并下载 def parseAndDownloadImages(html, folderPath='piclitl/'): if not os.path.exists(folderPath): os.makedirs(folderPath) tree = etree.HTML(html) figure_list = tree.xpath('//li') # 假设图片在 li 标签下 count = 0 for figure in figure_list: img_src = figure.xpath('./a/img/@data-src')[0] img_src = 'https:' + img_src img_name = img_src.split('/')[-1] img_data = requests.get(url=img_src, headers=headers).content img_path = folderPath + img_name with open(img_path, 'wb') as fp: fp.write(img_data) print(img_name, '下载成功') count += 1 print(f"共下载 {count} 张图片") # 主程序 html = getHtml("https://example.com") parseAndDownloadImages(html) ``` ### 使用 `BeautifulSoup` 解析 HTML 并下载图片 如果希望使用更直观的 HTML 解析方式，可以结合 `BeautifulSoup` 库。 ```python import requests from bs4 import BeautifulSoup import os # 下载图片 def downloadImage(img_url, folderPath='images/'): if not os.path.exists(folderPath): os.makedirs(folderPath) img_name = img_url.split('/')[-1] img_data = requests.get(img_url).content with open(os.path.join(folderPath, img_name), 'wb') as f: f.write(img_data) print(f"{img_name} 下载成功") # 抓取并解析网页中的图片 def scrapeImagesFromWebpage(url, folderPath='images/'): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') img_tags = soup.find_all('img') for img in img_tags: img_url = img.get('src') if img_url.startswith('http'): downloadImage(img_url, folderPath) # 主程序 scrapeImagesFromWebpage("https://example.com") ``` ### 注意事项 - **反爬机制**：一些网站可能会设置反爬虫机制，如限制访问频率、要求登录等。建议在请求之间加入 `time.sleep()` 防止被封 IP。 - **图片链接格式**：有些图片链接是相对路径，需要拼接完整 URL。 - **文件夹创建**：确保本地路径中存在用于保存图片的文件夹，否则程序会抛出异常。 - **异常处理**：在实际应用中建议加入异常处理机制，例如网络请求失败时的重试逻辑。 ---