### 使用Python爬虫批量下载网页目录中的JPG图片 为了实现从网页上多个目录中下载所有JPG图片并保存到本地文件夹的功能，可以按照以下方法构建Python脚本。此过程涉及解析HTML文档以提取图片链接，并利用`requests`库下载这些图片。 #### 导入必要的库 首先导入所需的第三方库，包括用于发送HTTP请求的`requests`以及用来解析HTML内容的`BeautifulSoup`： ```python import os import requests from bs4 import BeautifulSoup ``` #### 定义获取单个页面内所有JPEG图片URL的方法 创建一个名为`get_jpg_urls_from_page()`的函数来抓取给定页面内的所有`.jpg`格式图片链接： ```python def get_jpg_urls_from_page(page_url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' 'AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(page_url, headers=headers) soup = BeautifulSoup(response.content, "html.parser") jpg_links = [] for img_tag in soup.find_all('img'): src = img_tag.get('src') if src and ('.jpg' in src.lower()): full_link = src if src.startswith(('http:', 'https:')) else page_url.rsplit('/', 1)[0] + '/' + src jpg_links.append(full_link) return jpg_links ``` #### 创建保存图片的方法 定义另一个辅助函数`save_images_to_folder(urls_list, folder_name)`负责接收一组图片链接列表并将它们依次下载下来存放到指定的目标文件夹里： ```python def save_images_to_folder(urls_list, folder_name="./images"): try: os.makedirs(folder_name, exist_ok=True) count = 1 for link in urls_list: file_extension = ".jpg" local_filename = f"{count}{file_extension}" image_response = requests.get(link, stream=True) with open(os.path.join(folder_name, local_filename), 'wb') as out_file: shutil.copyfileobj(image_response.raw, out_file) del image_response print(f'Successfully downloaded {local_filename}') count += 1 except Exception as e: print(e) ``` #### 主逻辑：遍历多级目录并调用上述功能 最后，在主程序部分设置起始网址和其他参数，循环访问各个子页直至完成整个站点下所有符合条件的照片收集工作： ```python if __name__ == "__main__": base_url = input("请输入要爬取的网站主页地址:") max_depth = int(input("请输入最大递归深度:")) visited_pages = set() queue = [(base_url, 0)] while queue: current_page, depth = queue.pop(0) if depth >= max_depth or current_page in visited_pages: continue visited_pages.add(current_page) # 获取当前页面的所有.jpg链接 jpg_urls = get_jpg_urls_from_page(current_page) # 将找到的图片保存起来 save_images_to_folder(jpg_urls, "./downloaded_pictures") # 如果还没有达到设定的最大深度，则继续探索其他链接 if depth < max_depth - 1: new_queue_items = [] html_content = requests.get(current_page).text soup = BeautifulSoup(html_content, features="lxml") links_on_this_page = [a['href'] for a in soup.select('a[href]')] absolute_links = [ href if href.startswith(("http:", "https:")) else "/".join([current_page.rstrip('/'), href.lstrip('/')]) for href in links_on_this_page] valid_next_level_links = list(set([ l for l in absolute_links if not any(ext in l for ext in ['pdf', '#']) ])) new_queue_items.extend((link, depth + 1) for link in valid_next_level_links) queue[:0] = new_queue_items ``` 以上代码实现了基本的需求描述，即能够自动地从特定起点出发深入挖掘各级子页面里的资源，并把遇到的所有JPEG类型的静态图档都复制回用户的计算机硬盘当中[^1][^2].