下面是一个简单的 Python 爬虫示例，该爬虫可以从网页上抓取图片。我们将使用 `requests` 和 `BeautifulSoup` 来解析 HTML，并下载找到的所有图片链接。 ### 安装依赖库： ```bash pip install requests beautifulsoup4 ``` ### 示例代码： ```python import os import requests from bs4 import BeautifulSoup from urllib.parse import urljoin, urlparse def is_valid(url): parsed = urlparse(url) return bool(parsed.netloc) and bool(parsed.scheme) def download_image(img_url, folder_path): try: response = requests.get(img_url, stream=True) if response.status_code == 200: file_name = img_url.split("/")[-1] with open(os.path.join(folder_path, file_name), 'wb') as f: for chunk in response.iter_content(1024): f.write(chunk) print(f"Downloaded {file_name}") except Exception as e: print(f"Failed to download image from {img_url}. Error: {e}") def crawl_images_from_page(base_url, folder_path="images"): # 创建保存目录 if not os.path.exists(folder_path): os.makedirs(folder_path) headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)" } try: response = requests.get(base_url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") imgs_tags = soup.find_all("img") count = 0 for img_tag in imgs_tags: src = img_tag.attrs.get("src") if not src: continue img_url = urljoin(base_url, src) try: response_img = requests.head(img_url, allow_redirects=True) content_type = response_img.headers.get("content-type", "").lower() if "image" in content_type and is_valid(img_url): download_image(img_url, folder_path) count += 1 except Exception as ex: print(ex) print(f"{count} images downloaded.") except Exception as err: print(err) if __name__ == "__main__": target_website = input("请输入目标网站URL地址： ") crawl_images_from_page(target_website) ``` 此脚本会从指定 URL 中提取所有 `<img>` 标签内的资源并尝试将它们存储到本地文件夹中，默认命名为 “images”。 --- ### 注意事项： 1. **合法性检查**：在实际应用前，请确认您有权利从目标站点抓取数据。 2. **异常处理优化**：上述例子仅作基础演示用途，在真实环境中应当添加更多错误检测机制以及日志记录等功能模块来提升程序稳定性。 3. **性能改进空间**：如果面对大规模任务量，则可以考虑采用异步请求框架例如 aiohttp 或者多线程池等方式加速整个流程运行效率。