根据您的要求，我们将使用 Python 的 Requests 和 lxml 库来抓取“美食天下”网站的菜谱信息，并仅保存菜名和地方信息到 D 盘的 `meishi` 文件夹中。以下是完整的代码实现和详细说明 [ref_1]。 ### **核心思路与流程** 1. **目标分析**：确定要爬取的目标网站（美食天下）和所需数据（菜名和地方）。 2. **请求获取**：使用 `requests` 库发送网络请求，获取网页源代码 [ref_6]。 3. **数据解析**：使用 `lxml` 库的 XPath 方法定位并提取所需信息 [ref_2]。 4. **数据存储**：将提取到的数据以 CSV 格式保存到指定目录。 5. **异常处理**：添加必要的异常处理机制，确保爬虫的健壮性。 ### **完整代码实现** 以下代码将爬取“美食天下”网站首页的菜谱列表，获取每个菜品的菜名和地方信息，并保存到 `D:\meishi\recipes.csv` 文件中。 ```python import requests from lxml import etree import csv import os import time # 定义请求头，模拟浏览器访问，防止被反爬虫机制拦截 [ref_6] headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } def create_directory_if_not_exists(path): """检查目录是否存在，若不存在则创建 [ref_1]""" if not os.path.exists(path): os.makedirs(path) print(f"目录已创建：{path}") else: print(f"目录已存在：{path}") def fetch_recipe_info(): """主函数：爬取菜谱信息并保存到CSV""" # 存储数据的列表，每个元素是一个包含菜名和地方的字典 recipe_data = [] # 目标网站的URL（这里以美食天下的“家常菜”页面为例，可根据需要修改） base_url = "https://home.meishichina.com/recipe/caixi/" try: # 发送GET请求获取网页内容 [ref_6] response = requests.get(base_url, headers=headers, timeout=10) response.raise_for_status() # 检查请求是否成功 response.encoding = response.apparent_encoding # 自动识别编码 except requests.exceptions.RequestException as e: print(f"网络请求失败：{e}") return # 使用lxml解析HTML内容 [ref_2] html = etree.HTML(response.text) # 使用XPath定位包含菜谱信息的元素块 # 根据网站结构，菜谱项通常在一个列表里，例如class为`recipe-list`的ul下的li # 注意：实际XPath路径需要根据目标网站的具体HTML结构进行调整 recipe_items = html.xpath('//div[@class="recipe-list"]//li[@class="recipe-item"]') if not recipe_items: # 如果上面的XPath没找到，尝试另一种常见的结构 [ref_1] recipe_items = html.xpath('//ul[@class="recipe-list"]/li') if not recipe_items: print("未找到菜谱列表，请检查网页结构或XPath表达式。") return for item in recipe_items: try: # 提取菜名：通常在a标签或h2标签内 # 例如：//a[@class="recipe-title"]/text() 或 //h2/a/text() name = item.xpath('.//a[@class="recipe-title"]/text()') if not name: name = item.xpath('.//h2/a/text()') recipe_name = name[0].strip() if name else "未知菜名" # 提取地方（菜系）：通常在描述信息或标签中 # 例如：//span[@class="recipe-category"]/text() 或 //div[@class="info"]/span[1]/text() place = item.xpath('.//span[@class="recipe-category"]/text()') if not place: place = item.xpath('.//div[@class="info"]/span[1]/text()') recipe_place = place[0].strip() if place else "未知菜系" # 将提取到的信息存入字典 recipe_data.append({ "菜名": recipe_name, "地方（菜系）": recipe_place }) print(f"已获取：{recipe_name} - {recipe_place}") except IndexError as e: print(f"解析某个菜谱项时发生索引错误，跳过该项：{e}") continue except Exception as e: print(f"解析过程中发生未知错误：{e}") continue # 添加短暂延时，避免请求过于频繁对服务器造成压力，也降低被封IP的风险 [ref_1] time.sleep(0.5) # 保存数据到CSV文件 save_path = r"D:\meishi\recipes.csv" create_directory_if_not_exists(os.path.dirname(save_path)) # 确保D:\meishi目录存在 try: with open(save_path, mode='w', newline='', encoding='utf-8-sig') as csvfile: fieldnames = ["菜名", "地方（菜系）"] writer = csv.DictWriter(csvfile, fieldnames=fieldnames) writer.writeheader() writer.writerows(recipe_data) print(f"数据已成功保存至：{save_path}") print(f"共爬取到 {len(recipe_data)} 条菜谱信息。") except IOError as e: print(f"文件写入失败：{e}") if __name__ == "__main__": fetch_recipe_info() ``` ### **代码关键步骤说明** | 步骤 | 作用 | 对应代码段与说明 | | :--- | :--- | :--- | | **1. 环境准备** | 导入必要的库。 | `import requests, lxml, csv, os, time`。`requests`用于网络请求，`lxml`用于解析HTML，`csv`用于数据存储，`os`用于处理文件路径，`time`用于延时 [ref_1][ref_6]。 | | **2. 伪装请求** | 设置请求头，模拟浏览器访问。 | `headers` 变量定义了 `User-Agent`，这是绕过简单反爬虫的基本手段 [ref_6]。 | | **3. 发送请求** | 获取目标网页的HTML内容。 | `requests.get(base_url, headers=headers, timeout=10)` 发送一个GET请求。`timeout`参数设置了请求超时时间，`raise_for_status()`用于检查HTTP响应状态码 [ref_6]。 | | **4. 解析HTML** | 将HTML文本转换为可进行XPath查询的对象。 | `etree.HTML(response.text)` 将响应文本解析为ElementTree对象 [ref_2]。 | | **5. 定位与提取** | 使用XPath定位并提取“菜名”和“地方”信息。 | `item.xpath('.//a[@class="recipe-title"]/text()')` 是XPath表达式示例，用于提取菜名。`.//`表示从当前节点开始相对查找，`@class`是属性选择器，`text()`获取文本内容 [ref_2]。 | | **6. 数据清洗与存储** | 将提取的文本去除空白，组织成字典列表，并写入CSV。 | `strip()`方法去除字符串两端的空白字符。`csv.DictWriter`将字典列表按字段名写入CSV文件，`utf-8-sig`编码可以确保Excel打开时中文不乱码 [ref_1]。 | | **7. 路径处理** | 确保目标文件夹存在。 | `os.makedirs(path)` 函数用于递归创建目录 [ref_1]。 | | **8. 异常处理** | 增强代码的健壮性，应对网络、解析、文件IO等错误。 | `try...except` 块捕获 `requests.exceptions.RequestException`、`IndexError`、`IOError`等异常，使程序在遇到错误时不会崩溃，并能给出提示 [ref_1]。 | ### **应用场景与扩展** 此代码是一个基础的单页爬虫，适用于快速获取列表页上的结构化信息。在实际应用中，您可能需要根据具体需求进行扩展： 1. **多页爬取**：如果菜谱信息分布在多个页面，可以分析URL规律（例如 `page/2/`），使用 `for` 循环构建不同页面的URL进行爬取 [ref_1]。 2. **详情页爬取**：如果需要更详细的信息（如食材、做法），可以先爬取列表页获取每个菜谱的详情页链接，再逐个进入详情页进行深度信息提取 [ref_1]。 3. **数据去重**：在爬取多页或大量数据时，可能会遇到重复项，可以在存储前进行去重处理。 4. **更换目标**：此代码框架具有通用性。要爬取其他网站，只需修改 `base_url` 和关键的XPath定位表达式即可 [ref_3][ref_4]。 **重要提醒**：在运行任何网络爬虫前，请务必遵守目标网站的 `robots.txt` 协议，尊重网站的服务条款，并合理控制请求频率，避免对目标服务器造成过大负担 [ref_2]。