### 使用Python编写爬虫抓取中国未来40天天气预报数据 #### 了解目标网站结构 为了成功获取所需的数据，首先要仔细研究目标网站的HTML源码。这有助于识别用于存储天气信息的关键标签和属性[^1]。 #### 设置请求头模拟真实访问 许多现代Web服务会检测并阻止自动化工具发出的请求。通过设置合适的`User-Agent`和其他HTTP头部字段可以有效规避这一限制，使服务器认为这些请求来自真实的浏览器环境[^2]。 ```python import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get('https://example.com/weather', headers=headers) ``` #### 解析页面内容提取有用信息 利用BeautifulSoup库解析返回的内容，并定位到包含特定时间范围内预测详情的部分。对于超过一周以上的长期预报表单来说，可能需要特别注意其独特的DOM布局特点。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(response.text, 'html.parser') forecast_items = soup.find_all(class_='long-term-forecast-item') # 假设此类名适用于描述多日预报条目 for item in forecast_items[:40]: date = item.select_one('.date').get_text(strip=True) condition = item.select_one('.condition').get_text(strip=True) high_temp = item.select_one('.high-temp').get_text(strip=True).replace('°C', '') low_temp = item.select_one('.low-temp').get_text(strip=True).replace('°C', '') print(f"{date}: {condition}, High: {high_temp}°C, Low: {low_temp}°C") ``` #### 数据持久化处理 考虑到长时间跨度内的大量记录，在完成每批次抓取操作后应当及时保存至数据库中以便后续查询分析。这里展示了一个简单的SQLAlchemy模型定义以及插入新纪录的方法。 ```python from sqlalchemy import Column, Integer, String, Float, create_engine from sqlalchemy.ext.declarative import declarative_base from sqlalchemy.orm import sessionmaker Base = declarative_base() class WeatherForecast(Base): __tablename__ = 'weather_forecast' id = Column(Integer, primary_key=True) city_name = Column(String(50)) forecast_date = Column(String(20)) weather_condition = Column(String(50)) max_temperature = Column(Float()) min_temperature = Column(Float()) engine = create_engine('sqlite:///forecasts.db') Session = sessionmaker(bind=engine) session = Session() new_record = WeatherForecast( city_name="Beijing", forecast_date=date, weather_condition=condition, max_temperature=float(high_temp), min_temperature=float(low_temp) ) session.add(new_record) session.commit() ```