### 使用Python编写爬虫抓取网站所有页面的数据 #### 技术栈介绍 为了实现这一目标，将采用如下技术栈和工具： - **Python 3.x**：作为开发和执行爬虫的主要编程语言。 - **Requests**：用于发送HTTP请求并获取网页内容，特别适合静态页面的抓取[^2]。 - **BeautifulSoup**：负责解析HTML文档结构，并从中抽取所需的信息[^4]。 #### 实现方案概述 针对多页数据抓取的需求，可以通过广度优先搜索(BFS)算法遍历整个站点内的链接。此过程涉及两个主要部分：一是发起网络请求以下载指定URL对应的HTML源码；二是解析该HTML文件中的超链接标签(`<a href="...">`)从而发现新的待访问路径[^5]。 #### 示例代码 下面是一个简单的例子来说明如何构建这样一个通用型Web Spider: ```python import requests from bs4 import BeautifulSoup from urllib.parse import urljoin, urlparse from collections import deque def fetch_page(url): try: response = requests.get(url) if response.status_code == 200: return response.text else: print(f"Failed to load page {url}") return None except Exception as e: print(e) return None def parse_links(html_content, base_url): soup = BeautifulSoup(html_content, 'html.parser') links = set() for link in soup.find_all('a', href=True): full_link = urljoin(base_url, link['href']) parsed_uri = urlparse(full_link) domain = '{uri.scheme}://{uri.netloc}/'.format(uri=parsed_uri) # Only add internal links that belong to the same site. if domain == base_url and not any(x in full_link for x in ['#', '.pdf']): links.add(full_link) return list(links) start_url = "http://example.com" visited_urls = set([start_url]) queue = deque([start_url]) while queue: current_url = queue.popleft() html_data = fetch_page(current_url) if html_data is not None: new_links = parse_links(html_data, start_url) unvisited_new_links = [ l for l in new_links if l not in visited_urls] visited_urls.update(unvisited_new_links) queue.extend(unvisited_new_links) print("Crawling completed.") ``` 这段脚本会从给定起始地址出发，逐步探索同一域名下的其他子页面直到没有未被访问过的内部链接为止。注意这里仅考虑了同域内不含锚点或PDF附件的有效链接。