### Python 下载整个网站的网页爬虫方法 要使用 Python 下载整个网站的所有网页，通常需要实现一个网页爬虫，该爬虫能够自动遍历网站的链接并下载每个页面。以下是几种常用的方法和实现思路。 #### 使用 `urllib` 和递归爬取 可以基于 `urllib` 库实现一个简单的爬虫，通过解析 HTML 页面中的超链接（`<a>` 标签），递归地访问和下载每个页面。需要注意的是，为了避免重复下载和进入无限循环，必须维护一个已访问的 URL 集合。 ```python from urllib import request, parse, error from html.parser import HTMLParser import re visited_urls = set() class LinkParser(HTMLParser): def __init__(self, base_url): super().__init__() self.base_url = base_url self.links = [] def handle_starttag(self, tag, attrs): if tag == 'a': for attribute, value in attrs: if attribute == 'href': url = parse.urljoin(self.base_url, value) if re.search(r'^https?://', url): # 确保是HTTP(S)链接 self.links.append(url) def download(url, user_agent='wswp', num_retries=2): print('Downloading:', url) req = request.Request(url) req.add_header('User-agent', user_agent) try: response = request.urlopen(req) html = response.read() return html.decode('utf-8', errors='ignore') except error.URLError as e: print(f"Failed to download {url}: {e.reason}") if num_retries > 0 and hasattr(e, 'code') and 500 <= e.code < 600: return download(url, user_agent, num_retries - 1) return None def crawl(url, max_depth=2, current_depth=0): if current_depth > max_depth or url in visited_urls: return visited_urls.add(url) html = download(url) if html: parser = LinkParser(url) parser.feed(html) for link in parser.links: crawl(link, max_depth, current_depth + 1) # 示例调用 crawl('http://example.com', max_depth=1) ``` #### 使用 `requests` 和 `BeautifulSoup` `requests` 和 `BeautifulSoup` 是更现代、更易用的库，适合处理网页内容。同样需要解析链接并递归下载。 ```python import requests from bs4 import BeautifulSoup from urllib.parse import urljoin import re visited = set() def download_page(url): headers = {'User-Agent': 'wswp'} try: response = requests.get(url, headers=headers) if 'text/html' in response.headers['Content-Type']: return response.text except Exception as e: print(f"Error downloading {url}: {e}") return None def extract_links(html, base_url): soup = BeautifulSoup(html, 'html.parser') links = set() for a_tag in soup.find_all('a', href=True): link = urljoin(base_url, a_tag['href']) if re.match(r'^https?://', link): links.add(link) return links def crawl_site(url, depth=2, current_depth=0): if current_depth > depth or url in visited: return print(f'Crawling {url} (depth {current_depth})') html = download_page(url) if html: visited.add(url) links = extract_links(html, url) for link in links: crawl_site(link, depth, current_depth + 1) # 示例调用 crawl_site('http://example.com', depth=1) ``` #### 使用 `Scrapy` 框架 对于更复杂的需求，推荐使用 `Scrapy` 框架。它是一个功能强大的爬虫框架，支持自动请求调度、链接提取、数据解析等功能。 1. 安装 Scrapy： ```bash pip install scrapy ``` 2. 创建一个 Scrapy 项目并定义爬虫： ```bash scrapy startproject myproject cd myproject scrapy genspider example example.com ``` 3. 修改 `spiders/example.py`： ```python import scrapy class ExampleSpider(scrapy.Spider): name = "example" allowed_domains = ["example.com"] start_urls = ["http://example.com"] def parse(self, response): with open(f"{response.url.split('//')[-1].replace('/', '_')}.html", "wb") as f: f.write(response.body) for href in response.css('a::attr(href)').getall(): yield response.follow(href, self.parse) ``` 4. 运行爬虫： ```bash scrapy crawl example ``` #### 注意事项 - **去重与深度控制**：必须维护一个已访问的 URL 集合，避免重复下载。同时，设置最大爬取深度以防止无限递归。 - **异常处理**：网络请求可能失败，需加入重试机制和异常捕获。 - **合法性与道德性**：确保爬取行为符合目标网站的 `robots.txt` 规则，避免对服务器造成过大压力。