### 编写一个抓取过去30天天气数据的Python爬虫 为了完成这个任务，可以使用 `requests` 库来发送 HTTP 请求并获取网页内容，再通过 `BeautifulSoup` 来解析 HTML 数据。以下是具体实现方式： #### 安装依赖库 首先需要安装必要的 Python 库： ```bash pip install requests beautifulsoup4 pandas openpyxl ``` #### 实现代码 下面是一个完整的爬虫程序示例，用于从指定网站抓取过去30天的历史天气数据。 ```python import requests from bs4 import BeautifulSoup import pandas as pd from datetime import datetime, timedelta def fetch_weather_data(city_url, days=30): """ 抓取指定城市最近N天的历史天气数据。 参数: city_url (str): 城市历史天气页面URL。 days (int): 需要抓取的数据天数，默认为30天。 返回: DataFrame: 包含天气数据的Pandas DataFrame对象。 """ headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(city_url, headers=headers) if response.status_code != 200: raise Exception(f"无法访问目标网站，状态码：{response.status_code}[^1]") soup = BeautifulSoup(response.text, 'html.parser') weather_list = [] date_elements = soup.find_all('a', class_='lishi_day')[:days] for element in date_elements: try: day_link = f"https:{element['href']}" sub_response = requests.get(day_link, headers=headers) if sub_response.status_code != 200: continue sub_soup = BeautifulSoup(sub_response.text, 'html.parser') data_row = {} # 提取日期 date_str = sub_soup.select_one('.l_hisdate').text.strip() data_row["日期"] = date_str # 提取温度范围 temp_range = sub_soup.select_one('.l_shidu span').text.split('/') data_row["最高温(℃)"] = int(temp_range[0].strip()[:-1]) data_row["最低温(℃)"] = int(temp_range[1].strip()[:-1]) # 提取天气状况 condition = sub_soup.select_one('.l_tqzt p').text.strip() data_row["天气情况"] = condition # 提取风向和风力等级 wind_info = sub_soup.select_one('.l_fengxiang').text.replace('\n', '').replace(' ', '') data_row["风向"] = wind_info.split(' ')[0] data_row["风力等级"] = wind_info.split(' ')[1][:-1] weather_list.append(data_row) except Exception as e: print(f"处理 {day_link} 出错：{e}") df = pd.DataFrame(weather_list) return df if __name__ == "__main__": url_dongguan = "https://lishi.tianqi.com/dongguan/202311.html" weather_df = fetch_weather_data(url_dongguan) output_file = "./dongguan_weather_202311.xlsx" weather_df.to_excel(output_file, index=False, engine='openpyxl') print(f"已成功保存到文件：{output_file}") ``` 此代码实现了以下功能： - 使用 `requests` 获取网页内容，并用 `BeautifulSoup` 解析 HTML 结构。 - 循环遍历每一页中的每一天记录，提取所需字段（如日期、气温、天气状况等），并将这些数据存储在一个 Pandas 的 DataFrame 中。 - 将最终的结果导出至 Excel 文件以便后续分析或展示。 如果遇到网络请求失败或其他异常，则会跳过当前条目继续执行下一个任务[^2]。 --- #### 注意事项 1. **反爬机制**：部分网站可能设置了严格的反爬策略，例如 IP 屏蔽或者验证码验证。可以通过设置合理的请求间隔时间以及更换 User-Agent 字符串等方式降低被封禁的风险。 2. **数据准确性**：由于第三方站点可能存在更新延迟等问题，因此实际采集到的信息未必完全精确无误。 3. **法律合规性**：务必确认所使用的公开资源允许自动化脚本访问其内容；否则可能会违反服务条款甚至触犯当地法律法规。 ---