### 爬取天气数据并保存为CSV或Excel文件 使用Python爬取天气数据并保存为CSV或Excel格式的流程包括以下内容。首先，选择合适的库和工具来完成网络请求、HTML解析以及数据存储的任务。例如，`requests`库用于发送HTTP请求，`BeautifulSoup`库用于解析HTML文档[^4]。以下是实现这一目标的具体代码示例： ```python import requests from bs4 import BeautifulSoup import pandas as pd # 发送网络请求获取网页内容 url = "https://example.com/weather" # 示例URL，请替换为实际的天气网站 headers = {"User-Agent": "Mozilla/5.0"} # 设置User-Agent防止被封禁 response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') # 解析网页内容提取天气数据 data_list = [] weather_elements = soup.find_all("div", class_="weather-item") # 假设天气数据在特定class中 for element in weather_elements: city = element.find("span", class_="city").text.strip() temperature = element.find("span", class_="temperature").text.strip() humidity = element.find("span", class_="humidity").text.strip() data_list.append([city, temperature, humidity]) # 将数据转换为DataFrame并保存为CSV或Excel df = pd.DataFrame(data_list, columns=["City", "Temperature", "Humidity"]) df.to_csv("weather_data.csv", index=False) # 保存为CSV文件 df.to_excel("weather_data.xlsx", index=False) # 保存为Excel文件 ``` ### 数据分析及可视化步骤 在完成数据爬取和存储后，可以使用`pandas`进行数据分析，并利用`matplotlib`或`seaborn`库进行数据可视化[^3]。以下是具体操作： #### 数据预处理 对数据进行清洗和初步分析，确保数据质量符合后续分析要求。例如，检查是否存在缺失值或异常值，并进行必要的处理。 ```python # 检查数据基本信息 print(df.info()) print(df.describe()) # 处理缺失值（如填充或删除） df.fillna(method='ffill', inplace=True) # 转换数据类型 df["Temperature"] = df["Temperature"].astype(float) df["Humidity"] = df["Humidity"].astype(float) ``` #### 数据可视化 通过绘制图表来探索数据的分布特征和潜在关系。例如，绘制柱状图展示不同城市的温度分布，或绘制散点图分析湿度与温度的关系。 ```python import matplotlib.pyplot as plt # 绘制柱状图展示城市温度分布 plt.figure(figsize=(10, 6)) plt.bar(df["City"], df["Temperature"], color="skyblue") plt.title("Temperature Distribution by City") plt.xlabel("City") plt.ylabel("Temperature (°C)") plt.xticks(rotation=45) plt.tight_layout() plt.show() # 绘制散点图分析湿度与温度的关系 plt.figure(figsize=(8, 5)) plt.scatter(df["Temperature"], df["Humidity"], alpha=0.7, color="green") plt.title("Humidity vs Temperature") plt.xlabel("Temperature (°C)") plt.ylabel("Humidity (%)") plt.grid(True) plt.show() ``` ### 数据存储验证 将处理后的天气属性数据存储到本地文件后，可以读取文件以验证存储是否正确。 ```python # 验证CSV文件存储是否正确 df_check = pd.read_csv("weather_data.csv") print(df_check.head()) # 验证Excel文件存储是否正确 df_check_excel = pd.read_excel("weather_data.xlsx") print(df_check_excel.head()) ```