### 使用Python Scrapy框架爬取7天天气数据的实现方法 为了使用Scrapy框架爬取7天天气数据，需要按照以下结构化的方式进行开发。以下是详细的说明和代码示例。 #### 1. 创建Scrapy项目 首先，创建一个新的Scrapy项目。在命令行中运行以下命令： ```bash scrapy startproject weather_project ``` #### 2. 定义数据模型（items.py） 在`items.py`文件中定义需要抓取的数据字段。例如，城市、日期、星期、天气状况、最低温度、最高温度和风向等。参考如下代码[^2]： ```python import scrapy class WeatherItem(scrapy.Item): city = scrapy.Field() # 城市 date = scrapy.Field() # 日期 week = scrapy.Field() # 星期几 weather = scrapy.Field() # 天气 min_temperature = scrapy.Field() # 最低温度 max_temperature = scrapy.Field() # 最高温度 wind = scrapy.Field() # 风向 ``` #### 3. 编写爬虫逻辑（spiders目录下的weather.py） 在`spiders`目录下创建一个名为`weather.py`的爬虫文件。以下是具体的实现步骤： - **构造URL**：根据目标网站的结构，生成包含不同城市和日期的URL列表。 - **解析页面**：通过XPath提取所需的天气数据。 以下是完整的爬虫代码示例[^1]： ```python import scrapy from weather_project.items import WeatherItem class WeatherSpider(scrapy.Spider): name = "weather_spider" allowed_domains = ["www.weather.com"] # 替换为实际的目标网站域名 def start_requests(self): cities = ["beijing", "shanghai", "guangzhou"] # 示例城市列表 base_url = "https://www.weather.com/{}" # 替换为目标网站的实际URL模板 for city in cities: url = base_url.format(city) yield scrapy.Request(url=url, callback=self.parse) def parse(self, response): item = WeatherItem() li_list = response.xpath('//ul[@class="forecast-list"]/li') # 替换为实际的XPath表达式 for li in li_list: item['city'] = response.xpath('//h1[@class="city-name"]/text()').get() # 替换为实际的城市名称XPath item['date'] = li.xpath('.//span[@class="date"]/text()').get() # 替换为实际的日期XPath item['week'] = li.xpath('.//span[@class="week"]/text()').get() # 替换为实际的星期XPath item['weather'] = li.xpath('.//span[@class="weather"]/text()').get() # 替换为实际的天气XPath item['min_temperature'] = li.xpath('.//span[@class="low-temp"]/text()').get() # 替换为实际的最低温XPath item['max_temperature'] = li.xpath('.//span[@class="high-temp"]/text()').get() # 替换为实际的最高温XPath item['wind'] = li.xpath('.//span[@class="wind"]/text()').get() # 替换为实际的风向XPath yield item ``` #### 4. 配置Scrapy设置（settings.py） 在`settings.py`中配置一些必要的参数，例如下载延迟、用户代理等。示例如下： ```python BOT_NAME = 'weather_project' SPIDER_MODULES = ['weather_project.spiders'] NEWSPIDER_MODULE = 'weather_project.spiders' # 设置下载延迟 DOWNLOAD_DELAY = 1 # 启用用户代理池 USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' ``` #### 5. 运行爬虫 完成上述步骤后，在命令行中运行以下命令启动爬虫： ```bash scrapy crawl weather_spider -o weather_data.json ``` 这将把爬取到的数据保存为JSON文件。 ---