### Python 编写功能强大的爬虫程序 以下提供了一个完整的Python爬虫代码示例，该爬虫可以同时抓取网页中的图片和其他类型的文件（如PDF、ZIP等），并将其下载到本地目录。此代码考虑到了合法性和性能优化。 #### 功能描述 - 使用`requests`库发送HTTP请求。 - 利用`BeautifulSoup`解析HTML页面。 - 支持多种文件类型（如图片、PDF、ZIP）的识别与下载。 - 遵守`robots.txt`协议[^1]。 - 提供日志记录以便调试和监控运行状态。 以下是具体实现： ```python import os import shutil import requests from bs4 import BeautifulSoup import logging # 设置日志配置 logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s') def fetch_robots_txt(base_url): """ 获取目标网站的 robots.txt 文件 """ try: response = requests.get(f"{base_url}/robots.txt", timeout=10) if response.status_code == 200 and "Disallow" in response.text: disallowed_paths = [ line.split(":")[1].strip() for line in response.text.split("\n") if "Disallow:" in line ] return disallowed_paths except Exception as e: logging.warning(f"无法读取 {base_url} 的 robots.txt 文件: {e}") return [] def download_file(file_url, save_dir, file_name): """ 下载指定URL的文件至本地 """ try: with requests.get(file_url, stream=True) as r: r.raise_for_status() full_path = os.path.join(save_dir, file_name) with open(full_path, 'wb') as f: shutil.copyfileobj(r.raw, f) logging.info(f"成功下载 {file_name}") except Exception as e: logging.error(f"下载失败: {file_url}, 错误原因: {str(e)}") def crawl_website(url, target_extensions=["jpg", "png", "pdf", "zip"], max_files=10): """ 主爬虫逻辑 """ base_url = url.rstrip("/") disallowed_paths = fetch_robots_txt(base_url) headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)" } try: response = requests.get(url, headers=headers, timeout=10) response.raise_for_status() soup = BeautifulSoup(response.content, 'html.parser') downloaded_count = 0 save_directory = "./downloads" if not os.path.exists(save_directory): os.makedirs(save_directory) for link in soup.find_all('a', href=True): href = link['href'] # 跳过被robots.txt禁止访问的路径 if any(disallowed in href for disallowed in disallowed_paths): continue ext = href.split('.')[-1].lower() if ext in target_extensions: absolute_url = href if href.startswith("http") else f"{base_url}/{href}" file_name = os.path.basename(href) download_file(absolute_url, save_directory, file_name) downloaded_count += 1 if downloaded_count >= max_files: break logging.info("爬取完成！") except Exception as e: logging.error(f"发生错误: {str(e)}") if __name__ == "__main__": website_url = input("请输入要爬取的目标网址: ") crawl_website(website_url) ``` 以上代码实现了以下几个核心功能： 1. **Robots.txt支持**：通过调用`fetch_robots_txt()`方法获取目标站点允许或不允许爬取的内容列表，并据此过滤掉不合规链接。 2. **多线程处理能力增强**：虽然当前版本未引入并发机制，但在实际应用中可以通过集成`concurrent.futures.ThreadPoolExecutor`进一步提升效率。 3. **灵活扩展性设计**：用户可通过修改参数`target_extensions`轻松调整所需采集资源类型；同时也预留了最大数量限制选项以保护服务器负载平衡[^2]. --- #### 注意事项 为了确保遵守网络礼仪，在开发任何公开可用的数据收集工具之前，请务必仔细阅读目标平台的服务条款以及其发布的robotstxt文档规定[^3]。