要使用 Python 编写爬虫程序获取全国范围内的历史天气数据，可以按照以下方法进行操作： ### 数据来源 首先需要确定一个可靠的数据源。一些常见的提供天气数据的网站包括中国天气网、和风天气等。这些网站通常会以 HTML 页面或 API 的形式提供天气信息。如果目标网站没有明确禁止爬取行为，并且数据结构较为稳定，则可以通过解析网页内容来提取所需的历史天气数据[^3]。 ### 技术选型 - **Requests**：用于发送 HTTP 请求并获取网页响应。 - **BeautifulSoup 或 lxml**：解析 HTML 内容，提取特定标签中的数据。 - **Pandas**：处理和存储收集到的数据，便于后续分析。 - **Tkinter（可选）**：构建简单的图形用户界面，使程序更易于操作[^1]。 ### 实现步骤 #### 1. 发送请求 利用 `requests` 库向目标网站发送 GET 请求，获取页面内容。注意设置合适的 headers 模拟浏览器访问，避免被服务器识别为爬虫而遭到拦截。 ```python import requests url = 'http://example.com/weather' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) html_content = response.text ``` #### 2. 解析页面 使用 BeautifulSoup 对获取的 HTML 进行解析，定位到包含天气信息的具体元素。例如，假设每个城市的天气信息都包裹在一个 `.city-weather` 类名下： ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, 'html.parser') weather_items = soup.find_all(class_='city-weather') for item in weather_items: city = item.find('h3').text temperature = item.find(class_='temp').text # 提取更多字段... ``` #### 3. 存储数据 将提取后的数据组织成 DataFrame 并保存为 CSV 文件以便长期保存与进一步分析。这里可以参考已有代码片段中对 DataFrame 的处理方式[^2]。 ```python import pandas as pd data = [] # 假设这是从页面上提取的所有记录 df = pd.DataFrame(data, columns=['City', 'Date', 'Max_Tem', 'Min_Tem', 'Weather', 'Wind', 'Wind_Level']) df.to_csv('national_weather_data.csv', index=False, encoding='utf-8-sig') ``` #### 4. 处理分页与多城市 对于覆盖全国范围的需求，可能需要遍历多个城市页面或者月份参数。函数 `get_year_weather` 展示了如何循环调用每月数据的方法[^4]，这同样适用于不同城市的遍历逻辑。 ### 注意事项 - 尊重目标网站的服务条款，不要过于频繁地发起请求以免影响其正常服务。 - 定期检查网页结构是否发生变化，必要时更新解析规则以适应新的布局变化[^3]。 - 考虑异常处理机制，比如网络错误重试、超时控制等，确保程序健壮性。 ###