### 使用Scrapy爬取上海近三年天气数据并保存为CSV文件 为了实现这一需求，需构建一个基于 Scrapy 的爬虫项目来抓取目标网站上的历史天气记录，并最终将这些信息导出成 CSV 文件形式。以下是具体的技术方案与实现细节： #### 1. **创建Scrapy项目** 首先初始化一个新的 Scrapy 工程目录结构，便于后续模块化开发维护工作开展。 ```bash scrapy startproject shanghai_weather cd shanghai_weather ``` 接着定义 Spider 类型组件负责实际网页资源定位采集逻辑编写任务。 #### 2. **设计Spider类** 假设已知待访问的目标链接模板形如 `http://www.weather.com/shanghai/{date}` ，其中 `{date}` 表达日期变量，则可通过循环迭代生成一系列 URL 列表供程序逐一请求下载相应页面内容。 ```python import scrapy from datetime import timedelta, date def daterange(start_date, end_date): for n in range(int((end_date - start_date).days)): yield start_date + timedelta(n) class ShanghaiWeatherSpider(scrapy.Spider): name = "shanghai_weather" def __init__(self, *args, **kwargs): super(ShanghaiWeatherSpider, self).__init__(*args, **kwargs) # Define the date range we want to scrape data from. three_years_ago = date.today().replace(year=date.today().year-3) today = date.today() self.start_urls = [ f"http://www.weather.com/shanghai/{d.strftime('%Y-%m-%d')}" for d in daterange(three_years_ago, today)] def parse(self, response): item = {} item['date'] = response.url.split('/')[-1] temperature_selector = '.temperature::text' weather_condition_selector = '.condition::text' try: item['temperature'] = response.css(temperature_selector).get() item['weather_condition'] = response.css(weather_condition_selector).get() yield item except Exception as e: print(e) ``` 在此段代码里我们构造了一个名为 `ShanghaiWeatherSpider` 的子类继承自基础 Spider 对象，重写了其默认构造函数用来动态计算过去三年每一天对应的查询地址集合赋值给属性成员 `start_urls[]` 。另外实现了核心回调方法 `parse()` 完成了单页解析提取关键字段的工作流程[^5]。 #### 3. **配置Item Pipeline** 为了让所获条目自动序列化持久化至外部媒介载体之上，需要激活内置管道机制完成此项使命。编辑 settings.py 配置文档添加如下指令开启对应插件支持功能选项开关状态设定。 ```python FEED_FORMAT = 'csv' # Output format is set to csv FEED_URI = 'output.csv' # File path where output will be saved ITEM_PIPELINES = {'scrapy.pipelines.files.FilesPipeline': 1} ``` 这样当运行该脚本的时候就会按照既定规则把每一条匹配成功的实例对象逐行追加写入指定路径下的平面电子表格档案之中去了[^6]。 #### 4. **执行命令启动爬虫作业** 最后只需简单输入下面这条终端控制台指令即可触发整个过程正式启动起来啦！ ```bash scrapy crawl shanghai_weather ``` 等待一段时间之后就能看到预期成果出现在硬盘驱动器上面咯～🎉 --- ###