### 功能强大的 Python 爬虫代码：批量抓取网页链接和图片 以下提供了一个完整的 Python 爬虫代码，该代码不仅可以抓取网页上的所有超链接，还可以下载网页中的所有图片。代码基于 `requests` 和 `BeautifulSoup` 库实现，并支持自定义保存路径。 #### 依赖库安装 在运行代码之前，请先确保已经安装了必要的库： ```bash pip install requests beautifulsoup4 lxml ``` #### 主体代码 以下是实现批量抓取网页链接和图片的核心代码： ```python import os import requests from bs4 import BeautifulSoup from urllib.parse import urljoin, urlparse def fetch_links_and_images(url, save_folder="output"): """ 批量抓取网页中的所有链接和图片。 参数: url (str): 待爬取的目标网页URL。 save_folder (str): 存储图片的文件夹名称，默认为 "output"。 """ # 创建保存图片的文件夹 if not os.path.exists(save_folder): os.makedirs(save_folder) try: # 发起HTTP请求获取网页内容 response = requests.get(url) response.raise_for_status() html_content = response.text # 解析HTML文档 soup = BeautifulSoup(html_content, 'lxml') # 提取所有超链接 links = [] for link in soup.find_all('a', href=True): absolute_link = urljoin(url, link['href']) links.append(absolute_link) print(f"Found {len(links)} links.") # 提取所有图片链接并下载 images = [] for img_tag in soup.find_all('img'): src = img_tag.get('src') or img_tag.get('data-src') if not src: continue # 构建绝对路径 abs_img_url = urljoin(url, src) # 验证是否为有效图片链接 parsed_url = urlparse(abs_img_url) if parsed_url.netloc and parsed_url.scheme in ['http', 'https']: images.append(abs_img_url) # 下载图片 try: img_response = requests.get(abs_img_url, stream=True) img_response.raise_for_status() # 获取图片文件名 img_name = abs_img_url.split('/')[-1].split('?')[0] img_path = os.path.join(save_folder, img_name) with open(img_path, 'wb') as img_file: for chunk in img_response.iter_content(chunk_size=8192): img_file.write(chunk) print(f"Image saved: {img_name}") except Exception as e: print(f"Failed to download image {abs_img_url}: {e}") print(f"Downloaded {len(images)} images.") return {"links": links, "images": images} except Exception as e: print(f"Error occurred while processing URL {url}: {e}") return None # 测试函数 if __name__ == "__main__": target_url = "https://example.com" result = fetch_links_and_images(target_url, save_folder="downloaded_images") if result: print("Links:", result["links"]) print("Images:", result["images"]) ``` --- #### 代码说明 1. **链接提取** 利用 `find_all('a', href=True)` 方法找到所有的 `<a>` 标签，并通过 `urljoin()` 将相对路径转换为绝对路径[^1]。 2. **图片提取与下载** 对于每张图片，尝试从 `<img>` 的 `src` 或 `data-src` 属性中提取其链接，并验证是否为有效的 HTTP/HTTPS 地址。随后使用 `requests.get(stream=True)` 来流式下载大文件，减少内存占用[^3]。 3. **错误处理** 整个过程加入了异常捕获机制，防止因个别链接或图片无法访问而导致整个程序崩溃。 4. **可扩展性** 用户可以通过修改 `save_folder` 参数来自定义图片存储位置，或者调整逻辑以适应更多需求（如过滤特定域名下的资源）。 --- ###