### 使用 Python 获取和处理某城市的空气质量数据 #### 安装必要的库 为了获取和处理空气质量数据，需要安装一些常用的 Python 库。可以使用 `pip` 来安装这些库： ```bash pip install requests pandas pymysql beautifulsoup4 lxml ``` 上述命令将安装用于发送 HTTP 请求、解析 HTML 文档以及连接 MySQL 数据库所需的库。 #### 编写爬虫脚本 编写一个简单的 Python 脚本来抓取目标网站上的空气质量数据，并将其存储到本地文件或数据库中。以下是基于 BeautifulSoup 和 Requests 的基本实现方法[^1]： ```python import requests from bs4 import BeautifulSoup import csv import pandas as pd def fetch_air_quality_data(city_name='Harbin'): url = f'https://example.com/{city_name}' # 替换为实际网址 response = requests.get(url) soup = BeautifulSoup(response.text, 'lxml') table = soup.find('table', {'class': 'air-quality'}) rows = [] for tr in table.findAll('tr')[1:]: row = [td.text.strip() for td in tr.findAll('td')] rows.append(row) df = pd.DataFrame(rows, columns=['Date', 'AQI', 'Level']) return df if __name__ == '__main__': city_df = fetch_air_quality_data() city_df.to_csv('./data/harbin_aqi.csv', index=False, encoding='utf_8_sig') # 将数据保存成CSV文件 ``` 这段代码定义了一个函数来提取指定城市名称对应的网页中的空气污染指数(AQI)，并将结果转换为 Pandas DataFrame 对象以便后续分析。最后一步是把得到的数据导出至 CSV 文件中。 对于更复杂的应用场景，还可以考虑将获得的数据存入关系型数据库如MySQL 中。这可以通过 PyMySQL 实现，在此之前要确保已经建立了相应的数据库环境并配置好访问权限[^2]: ```python import pymysql.cursors connection = pymysql.connect(host='localhost', user='root', password='', database='aqi_db', cursorclass=pymysql.cursors.DictCursor) with connection.cursor() as cursor: sql_create_table = """ CREATE TABLE IF NOT EXISTS air_quality ( id INT AUTO_INCREMENT PRIMARY KEY, date DATE NOT NULL, aqi INT DEFAULT NULL, level VARCHAR(50) DEFAULT NULL); """ cursor.execute(sql_create_table) insert_sql = "INSERT INTO air_quality (date, aqi, level) VALUES (%s,%s,%s)" data_to_insert = [(row['Date'], int(row['AQI']), row['Level']) for _, row in city_df.iterrows()] cursor.executemany(insert_sql, data_to_insert) connection.commit() print("Data inserted successfully.") ``` 以上代码片段展示了如何通过PyMySQL模块与MySQL服务器建立连接，并执行SQL语句完成表格创建及批量插入记录的操作。