创建一个功能强大的Python爬虫可以是一个非常有趣且复杂的项目，特别是当它涉及到深度爬取网页内容、处理大量数据以及遵守网站的robots协议等方面。 这里会给你提供一个简化版的基础示例，这个例子将包括最基本的网络请求库`requests`和解析HTML文档的工具`BeautifulSoup`。对于更高级的功能比如分布式爬取、动态加载页面的内容抓取（例如通过Selenium）、数据库存储等，则需要进一步学习相关技术和框架如Scrapy。 ### 简单的Web Spider 首先安装必要的依赖： ```bash pip install requests beautifulsoup4 ``` 接下来编写一段简单的代码来进行初步的数据采集工作: ```python import os from urllib.parse import urljoin import requests from bs4 import BeautifulSoup class SimpleSpider: def __init__(self): self.base_url = 'https://example.com/' # 替换成目标站点URL self.session = requests.Session() def fetch_page(self, url): try: response = self.session.get(url) if response.status_code == 200: return response.text else: print(f"Failed to load page {url}, status code:{response.status_code}") except Exception as e: print(e) def parse_links(self, html_content): soup = BeautifulSoup(html_content, "html.parser") links_set = set() for link in soup.find_all('a', href=True): full_link = urljoin(self.base_url, link['href']) links_set.add(full_link.strip()) return list(links_set)[:5] # 只保留前五个链接作为演示目的 def main(): spider = SimpleSpider() start_html = spider.fetch_page(spider.base_url) if not start_html: exit(1) links_to_crawl = spider.parse_links(start_html) for link in links_to_crawl: print("正在访问:", link) content = spider.fetch_page(link) or '' save_path = './data/' filename = os.path.basename(link).replace('%','-') + '.txt' with open(os.path.join(save_path, filename), mode='w+', encoding="utf-8") as f: f.write(content[:60]) # 演示用途只保存部分内容 if __name__ == '__main__': main() ``` 请注意这只是一个基础的例子，并没有涵盖所有可能的情况也不完全适用于生产环境。真实的场景下还需要考虑更多因素，例如异常处理机制完善化、代理IP轮换策略的应用、并发控制等等。 此外，在实际应用之前，请务必了解并遵守目标网站的服务条款及法律法规限制！