### 使用Scrapy爬取中国气象网站数据并用Pandas处理 #### Scrapy爬虫实现 为了从中国气象网站获取天气数据，可以通过构建一个简单的Scrapy Spider来完成。以下是具体实现： 1. **创建Scrapy项目** 在命令行中执行以下命令以初始化一个新的Scrapy项目： ```bash scrapy startproject weather_project ``` 2. **定义Spider** 编辑`spiders/tianqi_spider.py`文件，编写用于爬取天气数据的Spider代码： ```python import scrapy class TianqiSpider(scrapy.Spider): name = "tianqi" allowed_domains = ["tianqi.com"] start_urls = ['https://lishi.tianqi.com/haikou/202311.html'] def parse(self, response): rows = response.css('.lishitable tr')[1:] # 跳过表头 for row in rows: date = row.css('td:nth-child(1)::text').get() high_temp = row.css('td:nth-child(2)::text').get() low_temp = row.css('td:nth-child(3)::text').get() weather = row.css('td:nth-child(4)::text').get() yield { '日期': date, '最高温度': high_temp, '最低温度': low_temp, '天气状况': weather } ``` 3. **运行爬虫** 执行以下命令启动爬虫并将结果保存为CSV文件： ```bash scrapy crawl tianqi -o weather_data.csv ``` --- #### Pandas数据分析与处理 在成功爬取数据后，可以使用Pandas库对数据进行清洗和分析。 1. **加载数据** 将爬取得到的CSV文件加载到DataFrame中： ```python import pandas as pd data = pd.read_csv('weather_data.csv') print(data.head()) ``` 2. **数据清理** 对数据中的异常值或不必要字符进行清理： ```python # 移除单位符号（如°C） data[['最高温度', '最低温度']] = data[['最高温度', '最低温度']].apply(lambda x: x.str.replace('°C', '')) # 转换数值列类型 data[['最高温度', '最低温度']] = data[['最高温度', '最低温度']].astype(int) # 处理缺失值 data.fillna({'天气状况': '未知'}, inplace=True) ``` 3. **特征提取** 提取更多有用的信息以便后续可视化： ```python # 添加新列表示平均气温 data['平均气温'] = (data['最高温度'] + data['最低温度']) / 2 # 判断是否有雨天 data['下雨了吗'] = data['天气状况'].str.contains('雨') # 查看前几行数据 print(data.head()) ``` 4. **存储处理后的数据** 将清洗后的数据重新保存为新的CSV文件： ```python data.to_csv('processed_weather_data.csv', index=False) ``` --- #### 可视化示例 通过PyEcharts或其他工具展示数据趋势。例如，绘制每日平均气温的变化曲线： ```python from pyecharts.charts import Line from pyecharts import options as opts line_chart = ( Line() .add_xaxis(list(data['日期'])) .add_yaxis("平均气温", list(data['平均气温'])) .set_global_opts(title_opts=opts.TitleOpts(title="每日平均气温变化")) ) line_chart.render('temperature_trend.html') ``` ---