| 步骤 | 核心组件/操作 | 关键说明 | | :--- | :--- | :--- | | **1. 环境准备** | 安装必要的Python库 | 主要包括 `requests` (网络请求)、`BeautifulSoup` 或 `lxml` (HTML解析)、`openpyxl` 或 `pandas` (Excel操作) | | **2. 发送请求** | 使用 `requests` 库获取网页 | 向目标网址发送HTTP GET请求，获取网页的HTML源代码。 | | **3. 解析数据** | 使用 `BeautifulSoup` 解析HTML | 将获取的HTML文本转换为可遍历和搜索的树形结构，并利用CSS选择器或标签名定位并提取目标数据。 | | **4. 数据清洗与组织** | 使用Python列表/字典整理数据 | 将提取的原始字符串数据转换为结构化的格式，如列表的列表或字典列表，为写入Excel做准备。 | | **5. 写入Excel** | 使用 `openpyxl` 或 `pandas` 写入文件 | 将整理好的结构化数据写入Excel工作表的单元格中，并保存为 `.xlsx` 文件。 | 下面将结合具体示例，分步详细说明每个环节的操作与代码实现。 ### 一、环境准备与库安装 在开始编写爬虫之前，需要确保已安装必要的第三方库。通过pip命令安装是最简单的方式。 ```bash pip install requests beautifulsoup4 openpyxl pandas ``` * **`requests`**: 用于发送HTTP请求，获取网页内容。 * **`BeautifulSoup`**: 用于解析HTML或XML文档，提取数据。 * **`openpyxl`**: 用于读写Excel 2010 xlsx/xlsm/xltx/xltm文件，是操作Excel文件的核心库[ref_2]。 * **`pandas`**: 一个强大的数据分析库，它内置了 `to_excel` 方法，可以非常方便地将数据框（DataFrame）保存为Excel文件，其底层也依赖于 `openpyxl`。 ### 二、发送请求与获取网页内容 使用 `requests` 库的 `get` 方法可以轻松获取网页。一个好的实践是添加请求头（例如 `User-Agent`）来模拟浏览器访问，以应对一些简单的反爬措施。 ```python import requests # 目标网址 url = 'https://www.00cha.com/tel.htm' # 这里使用了参考资料中的一个示例网址[ref_1] # 设置请求头，模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' } try: # 发送GET请求 response = requests.get(url, headers=headers) # 检查请求是否成功 (状态码200表示成功) response.raise_for_status() # 设置正确的编码（根据网页实际编码调整，常见为utf-8或gbk） response.encoding = 'gbk' # 示例网站编码为gbk[ref_1] html_content = response.text # 获取网页HTML文本内容 print("网页内容获取成功") except requests.RequestException as e: print(f"请求失败: {e}") html_content = None ``` ### 三、解析HTML并提取目标数据 获取到HTML内容后，需要使用解析库将其转换为可操作的对象。我们使用 `BeautifulSoup`。 ```python from bs4 import BeautifulSoup if html_content: # 使用BeautifulSoup解析HTML，指定解析器为lxml（需提前安装）或html.parser soup = BeautifulSoup(html_content, 'html.parser') # 假设我们要提取网页中所有<table>标签内的数据 # 首先，通过CSS选择器或标签名找到目标表格 # 例如：找到第一个表格 # target_table = soup.find('table') # 或者找到所有class为‘data’的表格： target_tables = soup.find_all('table', class_='data') # 这里以一个简化的通用示例为例，提取某个列表中的所有文本。 # 核心是使用find_all()和find