### 编写Python爬虫程序抓取中国植物志网站数据 为了实现这一目标，可以采用`requests`库发送HTTP请求并获取网页内容，再借助`BeautifulSoup`库解析HTML文档，从而提取所需信息。对于更复杂的交互式页面，则可能需要用到像Selenium这样的工具模拟浏览器行为[^1]。 #### 准备工作 确保安装了必要的库： ```bash pip install requests beautifulsoup4 lxml selenium ``` #### 发送请求与获取响应 构建一个简单的函数用于发起GET请求，并返回经过初步处理后的Response对象： ```python import requests from bs4 import BeautifulSoup def fetch_page(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', } try: response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'lxml') return soup else: print(f"Failed to load page {url}, status code: {response.status_code}") return None except Exception as e: print(e) return None ``` #### 解析页面结构 根据中国植物志的具体布局调整选择器路径，定位到包含植物名称、描述等关键字段的位置。下面是一个假设的例子，实际应用时需依据真实情况修改CSS Selectors或XPath表达式： ```python def parse_plant_info(soup): plant_list = [] items = soup.select('.plant-item') # 假设每条记录被包裹在一个class名为'plant-item'的div内 for item in items: name = item.find('h3').text.strip() # 获取植物名 description = item.p.text.strip() # 获取简介 plant_data = {'name': name, 'description': description} plant_list.append(plant_data) return plant_list ``` #### 数据保存 最后将收集到的信息存入文件或其他持久化存储介质中以便后续查阅分析： ```python import json plants = [] for i in range(start_page, end_page + 1): # 定义起始页码和结束页码 url = f"http://example.com/plants?page={i}" # 构造分页链接 soup = fetch_page(url) plants.extend(parse_plant_info(soup)) with open('plants.json', mode='w', encoding='utf8') as fp: json.dump(plants, fp, ensure_ascii=False, indent=2) ``` 以上代码片段展示了基本框架，在具体实施过程中还需要考虑异常处理机制、反爬策略应对措施等问题[^5]。