### 使用Python编写爬虫获取天气数据并保存为CSV文件 为了实现这一目标，可以按照以下方式完成任务： #### 1. 安装必要的库 需要安装 `requests` 和 `pandas` 库来处理HTTP请求以及数据存储操作。如果尚未安装这些库，可以通过以下命令进行安装： ```bash pip install requests pandas ``` #### 2. 编写爬虫逻辑 以下是完整的代码示例，用于抓取天气数据并将结果保存为CSV文件。 ```python import requests from bs4 import BeautifulSoup import pandas as pd # 设置URL和请求头 url = "https://example.com/weather" # 替换为目标网站的实际地址 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } # 发送GET请求 response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') # 解析HTML结构，提取所需字段 data_list = [] rows = soup.find_all('tr') # 假设表格中的每一行为<tr> for row in rows[1:]: # 跳过表头 cols = row.find_all('td') date = cols[0].text.strip() high_temp = cols[1].text.strip() low_temp = cols[2].text.strip() weather = cols[3].text.strip() wind_direction = cols[4].text.strip() data_list.append([date, high_temp, low_temp, weather, wind_direction]) # 将数据转换为Pandas DataFrame df = pd.DataFrame(data_list, columns=['日期', '最高温度', '最低温度', '天气', '风向']) # 将DataFrame保存为CSV文件 df.to_csv('weather_data.csv', index=False, encoding='utf-8-sig') else: print(f"Failed to retrieve data: {response.status_code}") ``` 此代码实现了从指定URL中抓取天气数据的功能，并将结果保存为名为 `weather_data.csv` 的文件[^1]。 #### 3. CSV文件的另一种创建方式 除了使用 Pandas 来保存数据外，还可以利用标准库中的 `csv` 模块手动构建CSV文件。这种方式更加灵活，适合少量数据的操作。 ```python import csv data_list = [ {'日期': '2023-10-01', '最高温度': '30°C', '最低温度': '20°C', '天气': '晴', '风向': '东南'}, {'日期': '2023-10-02', '最高温度': '28°C', '最低温度': '19°C', '天气': '阴', '风向': '东北'} ] # 打开或创建CSV文件 with open('weather_data_manual.csv', mode='w', newline='', encoding='utf-8-sig') as csvfile: fieldnames = ['日期', '最高温度', '最低温度', '天气', '风向'] writer = csv.DictWriter(csvfile, fieldnames=fieldnames) # 写入表头 writer.writeheader() # 写入每一条记录 for item in data_list: writer.writerow(item) ``` 这种方法同样能够生成有效的CSV文件[^2]。 --- #### 注意事项 在实际开发过程中需要注意以下几点： - **合法性**：确保所访问的目标站点允许爬虫采集数据，遵循其robots.txt协议。 - **反爬机制**：部分网站可能具备IP封禁或其他形式的反爬措施，在这种情况下需考虑动态代理或者延时策略。 - **编码问题**：当读取或写入中文字符时推荐设置合适的编码参数（如 utf-8-sig），防止乱码现象发生[^3]。 ---