### 使用 Python 爬取中国城市空气质量历史数据 以下是实现通过 Python 爬取中国城市空气质量历史数据的解决方案。此方案基于网络爬虫技术，利用 `requests` 和 `BeautifulSoup` 库解析网页内容。 #### 1. 准备工作 为了成功爬取目标网站上的空气质量数据，需先安装必要的库： ```bash pip install requests beautifulsoup4 pandas openpyxl ``` #### 2. 定义 URL 和 Headers 假设目标站点提供按月的历史空气质量数据（类似于天气预报网站），可以通过调整日期参数访问不同月份的数据。以下是一个通用模板： ```python import requests from bs4 import BeautifulSoup import pandas as pd base_url = "http://www.tianqihoubao.com/aqi/{city}-{year}{month}.html" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36", } ``` 此处 `{city}` 是城市的拼音缩写，例如北京为 `beijing`；`{year}` 和 `{month}` 则分别表示年份和月份[^1]。 #### 3. 编写爬虫逻辑 编写函数用于发送 HTTP 请求并提取所需数据： ```python def fetch_air_quality_data(city, year, month): url = base_url.format(city=city, year=year, month=str(month).zfill(2)) try: response = requests.get(url, headers=headers) response.encoding = 'utf-8' soup = BeautifulSoup(response.text, 'lxml') # 提取表格中的数据 table = soup.find('table') rows = table.find_all('tr')[1:] # 跳过表头 data_list = [] for row in rows: cols = row.find_all('td') date = cols[0].get_text(strip=True) quality_level = cols[1].get_text(strip=True) aqi_value = cols[2].get_text(strip=True) pm25 = cols[3].get_text(strip=True) pm10 = cols[4].get_text(strip=True) data_list.append({ 'Date': date, 'Quality Level': quality_level, 'AQI Value': aqi_value, 'PM2.5': pm25, 'PM10': pm10 }) return data_list except Exception as e: print(f"Error fetching data from {url}: {e}") return None ``` #### 4. 存储数据至文件 将获取到的数据保存为 Excel 文件以便后续分析： ```python def save_to_excel(data, filename): df = pd.DataFrame(data) df.to_excel(filename, index=False, engine='openpyxl') print(f"Data saved to {filename}") # 示例调用 if __name__ == "__main__": city_name = "shanghai" target_year = 2023 target_month = 10 air_quality_data = fetch_air_quality_data(city_name, target_year, target_month) if air_quality_data: output_file = f"{city_name}_{target_year}{str(target_month).zfill(2)}.xlsx" save_to_excel(air_quality_data, output_file) ``` 以上代码实现了从指定网址抓取上海某个月份的空气质量数据，并将其存储为 `.xlsx` 文件[^1]。 #### 注意事项 - **合法性**：确保所使用的数据来源允许自动化采集行为。 - **频率控制**：避免频繁请求同一服务器以免造成负担或被封禁 IP 地址。 - **编码处理**：部分中文字符可能需要设置合适的编码方式才能正确读取页面内容。 --- ### 数据样例展示 运行脚本后会生成类似如下结构的数据集： | Date | Quality Level | AQI Value | PM2.5 | PM10 | |------------|---------------|-----------|--------|-------| | 2023-10-01 | Excellent | 45 | 23 | 30 | | 2023-10-02 | Good | 67 | 34 | 45 | 这些字段可用于进一步绘制趋势图或其他可视化操作[^3]。 ---