### Python爬取和分析天气数据的方法 要实现通过Python爬取并分析天气数据的任务，可以按照以下方法完成： #### 数据获取阶段 网络爬虫技术可以通过`requests`库发送HTTP请求来抓取网页中的数据。如果目标网站的数据嵌套在JavaScript中，则可能需要借助正则表达式或者解析动态加载的内容工具（如`selenium`或`pyppeteer`）。对于特定站点的URL模式，例如引用提到的2345天气网[^2]，其历史天气数据通常以`.js`文件形式存在。 以下是基于`requests`和`re`模块的一个简单例子用于提取JS脚本内的天气记录： ```python import requests import re from datetime import datetime url = "http://tianqi.2345.com/t/wea_history/js/202001/58238_202001.js" response = requests.get(url) pattern = r'var\s+dataDay\s*=\s*(\[.*?\]);\s*var\s+dataNight\s*=\s*(\[.*?\])' match_result = re.search(pattern, response.text, flags=re.DOTALL | re.MULTILINE) if match_result: day_data_list = eval(match_result.group(1)) night_data_list = eval(match_result.group(2)) print(day_data_list[:5], "\n", night_data_list[:5]) ``` #### 数据预处理阶段 一旦成功获取到原始JSON对象列表或者其他格式化的字符串表示之后，就需要将其转换成易于操作的形式——Pandas DataFrame。这一步骤包括但不限于清洗缺失值、统一单位以及重新命名列名等操作。根据前面提供的代码片段[^1]，可以看到已经实现了将复合字段分解为多个独立变量的过程。 继续沿用该逻辑扩展其他属性的同时也要注意异常情况下的错误捕获机制设计良好才能保证最终输出质量可靠稳定。 ```python import pandas as pd weather_dict = { "日期": [], "星期": [], "最高气温": [], "最低气温": [], "白天天气状况": [], "夜晚天气状况":[], "风向":[], "级数":[] } for idx in range(len(day_data_list)): date_info = day_data_list[idx]['date'] temp_high_low = (day_data_list[idx].get('tempHigh'),night_data_list[idx].get('tempLow')) try: parsed_date = datetime.strptime(date_info,'%Y%m%d').strftime('%Y-%m-%d') weekday_name = ['周一','周二','周三','周四','周五','周六','周日'][datetime.strptime(parsed_date,"%Y-%m-%d").weekday()] wind_direction_level_split = day_data_list[idx]["wind"].split(" ") direction = "" if len(wind_direction_level_split)<2 else wind_direction_level_split[-2] level = "" if len(wind_direction_level_split)<2 else wind_direction_level_split[-1] weather_dict["日期"].append(parsed_date) weather_dict["星期"].append(weekday_name) weather_dict["最高气温"].append(temp_high_low[0]) weather_dict["最低气温"].append(temp_high_low[1]) weather_dict["白天天气状况"].append(day_data_list[idx]['wea']) weather_dict["夜晚天气状况"].append(night_data_list[idx]['weaNight']) weather_dict["风向"].append(direction) weather_dict["级数"].append(level) except Exception as e: continue df_weather = pd.DataFrame(weather_dict) print(df_weather.head()) ``` #### 可视化展示部分 利用Matplotlib 或 Seaborn 库能够直观呈现趋势变化曲线图、柱状对比图表等多种类型的图形帮助理解隐藏规律特征。下面给出绘制温度随时间波动折线图实例说明如下所示： ```python import matplotlib.pyplot as plt plt.figure(figsize=(10,6)) plt.plot(pd.to_datetime(df_weather['日期']), df_weather['最高气温'], label='Max Temp.') plt.plot(pd.to_datetime(df_weather['日期']), df_weather['最低气温'], label='Min Temp.') plt.title('Daily Temperature Variation Over Time') plt.xlabel('Date') plt.ylabel('Temperature °C') plt.legend() plt.grid(True) plt.show() ``` 以上就是整个流程概述从采集至展现环节都涵盖了相应知识点和技术要点[^2].