### 如何用 Python 爬取气象数据 #### 准备工作 为了成功爬取气象数据，需要完成一些必要的准备工作。这包括安装所需的库以及了解目标网站的数据结构。常用的库有 `requests` 和 `BeautifulSoup` 或者 Selenium 来模拟浏览器行为[^1]。 #### 完整代码实现 下面是一个简单的例子来展示如何使用 Python 编写一个基本的爬虫程序以获取气象数据： ```python import requests from bs4 import BeautifulSoup def fetch_weather_data(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') weather_elements = soup.select('div.weather-info') # 假设这是存储天气信息的选择器 data_list = [] for element in weather_elements: date = element.find('span', class_='date').text.strip() temperature = element.find('span', class_='temperature').text.strip() data_list.append({ '日期': date, '温度': temperature }) return data_list url = "http://example.com/weather" weather_data = fetch_weather_data(url) for entry in weather_data: print(f"日期: {entry['日期']}, 温度: {entry['温度']}") ``` 上述代码展示了如何利用 `requests` 库发送 HTTP 请求并抓取网页内容，再通过 `BeautifulSoup` 解析 HTML 并提取所需的信息[^2]。 #### 处理动态加载的内容 如果目标网站采用 JavaScript 动态加载内容，则可以考虑使用 Selenium 工具。Selenium 能够启动真实的浏览器实例，并执行诸如点击按钮、滚动页面等操作。例如，在某些情况下可能需要先滚动到特定位置才能加载更多数据[^3]: ```python from selenium import webdriver from selenium.webdriver.common.by import By from time import sleep driver = webdriver.Chrome() try: driver.get("http://example.com/dynamic-content") target_element = driver.find_element(By.CSS_SELECTOR, 'body > div.main.clearfix > div.main_left.inleft > div.tian_three > ul > div') driver.execute_script("arguments[0].scrollIntoView({block:'center'});", target_element) sleep(3) # 给予时间让新内容完全加载出来 finally: html_content = driver.page_source driver.quit() # 关闭 WebDriver 实例 ``` 此部分代码演示了当遇到需交互才能显示全部数据的情况时的操作方法。 #### 数据保存与处理 一旦收集到了足够的原始数据之后，就可以将其转换成更易于分析的形式或者存入数据库中以便后续查询和统计分析之用。常见的做法是将这些数据导出至 CSV 文件或 JSON 格式的文件里去。 ---