### 项目概述 使用 Scrapy 框架爬取旅游景点信息是一项常见的网络爬虫任务。以下内容将详细介绍如何构建一个完整的 Scrapy 爬虫项目，包括文件结构、具体网址和代码实现[^1]。 --- ### 文件结构 Scrapy 项目的标准文件结构如下所示： ``` my_travel_spider/ ├── scrapy.cfg ├── my_travel_spider/ │ ├── __init__.py │ ├── items.py │ ├── middlewares.py │ ├── pipelines.py │ ├── settings.py │ └── spiders/ │ └── travel_spider.py ``` --- ### 具体网址 为了演示目的，假设目标网站为携程旅行网（https://www.ctrip.com/）。携程提供了丰富的旅游景点信息，包括景点名称、简介、评分、位置等[^2]。 --- ### 示例代码 #### 1. 创建 Scrapy 项目 通过以下命令创建一个新的 Scrapy 项目： ```bash scrapy startproject my_travel_spider ``` #### 2. 配置 `items.py` 在 `items.py` 中定义数据模型，用于存储抓取的数据： ```python import scrapy class TravelItem(scrapy.Item): # 景点名称 travel_name = scrapy.Field() # 景点简介 description = scrapy.Field() # 景点位置 location = scrapy.Field() # 景点评分 rating = scrapy.Field() # 景点链接 url = scrapy.Field() ``` #### 3. 编写爬虫逻辑 (`travel_spider.py`) 在 `spiders/travel_spider.py` 中编写具体的爬虫逻辑： ```python import scrapy from my_travel_spider.items import TravelItem class TravelSpider(scrapy.Spider): name = "travel_spider" allowed_domains = ["ctrip.com"] start_urls = [ "https://www.ctrip.com/travel/scenic-spot" # 假设这是携程景点列表页面的 URL ] def parse(self, response): # 提取每个景点的链接 for href in response.css("a.scenic-spot-link::attr(href)").getall(): yield response.follow(href, self.parse_detail) # 分页处理 next_page = response.css("a.next-page::attr(href)").get() if next_page is not None: yield response.follow(next_page, self.parse) def parse_detail(self, response): item = TravelItem() item['travel_name'] = response.css("h1.scenic-name::text").get() # 景点名称 item['description'] = response.css("div.scenic-description::text").get() # 景点简介 item['location'] = response.css("span.scenic-location::text").get() # 景点位置 item['rating'] = response.css("span.scenic-rating::text").get() # 景点评分 item['url'] = response.url # 景点链接 yield item ``` #### 4. 数据存储 (`pipelines.py`) 在 `pipelines.py` 中定义数据存储逻辑，例如保存到 CSV 文件或数据库： ```python import csv class TravelPipeline: def open_spider(self, spider): self.file = open('travel_data.csv', mode='w', newline='', encoding='utf-8') self.writer = csv.writer(self.file) self.writer.writerow(['Name', 'Description', 'Location', 'Rating', 'URL']) def process_item(self, item, spider): self.writer.writerow([ item['travel_name'], item['description'], item['location'], item['rating'], item['url'] ]) return item def close_spider(self, spider): self.file.close() ``` #### 5. 配置 `settings.py` 在 `settings.py` 中配置爬虫的基本参数： ```python BOT_NAME = 'my_travel_spider' SPIDER_MODULES = ['my_travel_spider.spiders'] NEWSPIDER_MODULE = 'my_travel_spider.spiders' # Obey robots.txt rules ROBOTSTXT_OBEY = True # Configure item pipelines ITEM_PIPELINES = { 'my_travel_spider.pipelines.TravelPipeline': 300, } # Enable user-agent rotation to avoid IP blocking DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None, 'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 400, } ``` --- ### 注意事项 1. **动态网页处理**：如果目标网站使用了 JavaScript 动态加载数据，可以结合 Selenium 使用。 2. **避免封 IP**：通过设置随机 User-Agent 和延迟时间来降低被封的风险[^4]。 3. **法律合规**：确保遵守目标网站的 `robots.txt` 文件规定，并仅用于合法用途。 --- ### 结论 通过上述代码示例和配置，可以成功构建一个基于 Scrapy 的旅游景点信息爬虫项目。该项目能够抓取景点名称、简介、位置、评分等信息，并将其存储为 CSV 文件[^1]。 ---