### 使用 Python 编写功能强大的爬虫以爬取植物生长时间数据集 #### 1. 数据抓取工具的选择 在构建一个功能强大的爬虫程序时，通常会选用 `requests` 或 `scrapy` 这样的库来进行网络请求操作[^1]。对于更复杂的动态页面加载情况，则可以考虑使用 Selenium 来模拟浏览器行为。 #### 2. HTML 解析方法 解析从网站上获取的数据需要用到 BeautifulSoup 库或者 lxml 库。这些库能够帮助开发者轻松提取所需的信息并将其结构化以便后续处理[^2]。 #### 3. 存储机制设计 当涉及到大量数据存储时，除了简单的CSV文件外还可以选择数据库作为最终目标位置之一。SQLite 是一种轻量级的关系型数据库管理系统，在小型项目中有广泛应用；而对于更大规模的应用场景来说，MySQL 和 PostgreSQL 则更为合适[^2]。 以下是具体实现的一个完整例子： ```python import requests from bs4 import BeautifulSoup import time import random import pandas as pd def fetch_data(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' ' AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") data_list = [] items = soup.find_all('div', class_='item') # 假设每条记录都在这个 div 中 for item in items: common_name = item.find('span', {'class': 'common-name'}).text.strip() scientific_name = item.find('span', {'class': 'scientific-name'}).text.strip() distribution = item.find('p', {'class': 'distribution-info'}).text.strip() try: image_tag = item.find('img') image_link = image_tag['src'] except TypeError: image_link = None growth_time_info = extract_growth_time(item) entry = { 'common_name': common_name, 'scientific_name': scientific_name, 'distribution': distribution, 'image_link': image_link, **growth_time_info } data_list.append(entry) return data_list def extract_growth_time(element): """ 提取生长周期相关信息 """ germination_period = element.select_one('.germination-period').get_text(strip=True).split('-') flowering_duration = element.select_one('.flowering-duration').get_text(strip=True).split('-') result = {} if len(germination_period) == 2 and all(x.isdigit() for x in germination_period): result.update({ 'min_germination_days': int(min(germination_period)), 'max_germination_days': int(max(germination_period)) }) if len(flowering_duration) == 2 and all(x.isdigit() for x in flowering_duration): result.update({ 'start_flowering_month': int(flowering_duration[0]), 'end_flowering_month': int(flowering_duration[-1]) }) return result if __name__ == "__main__": base_url = "http://example.com/plant-growth-data?page={}" total_pages = 10 # 总页数假设为10页 combined_results = [] for page_num in range(1, total_pages + 1): url = base_url.format(page_num) results = fetch_data(url) combined_results.extend(results) sleep_interval = random.uniform(1, 3) time.sleep(sleep_interval) df = pd.DataFrame(combined_results) output_filename = 'plant_growth_dataset.csv' df.to_csv(output_filename, index=False, encoding='utf-8') ``` 此脚本实现了基本的功能需求，并包含了错误处理逻辑以及合理的等待时间设置来避免被服务器封锁访问权限等问题的发生。 ---