### 使用Scrapy爬虫从猫眼电影网站爬取1000条数据的源代码 以下是完整的Scrapy爬虫代码示例，用于从猫眼电影网站抓取前1000条电影数据。这些数据包括电影名称、主演、上映时间以及其他相关信息。 --- #### 1. 创建Scrapy项目 首先，通过以下命令创建一个新的Scrapy项目： ```bash scrapy startproject maoyan_movie_spider ``` 进入项目目录后，继续配置和编写爬虫脚本。 --- #### 2. 定义Items 在 `items.py` 中定义要抓取的数据字段： ```python import scrapy class MaoyanMovieItem(scrapy.Item): title = scrapy.Field() # 电影名称 actors = scrapy.Field() # 主演列表 release_date = scrapy.Field() # 上映日期 score = scrapy.Field() # 评分 ``` --- #### 3. 编写Spider脚本 在 `spiders` 文件夹中新建一个名为 `maoyan_movies.py` 的文件，并填写以下内容： ```python import scrapy from ..items import MaoyanMovieItem class MaoyanMoviesSpider(scrapy.Spider): name = 'maoyan_movies' allowed_domains = ['maoyan.com'] base_url = 'https://maoyan.com/films?offset={}' def start_requests(self): """生成初始请求""" for offset in range(0, 1000, 30): # 偏移量控制每页30条数据，共爬取约1000条 url = self.base_url.format(offset) yield scrapy.Request(url=url, callback=self.parse) def parse(self, response): """解析页面中的电影信息""" movies = response.css('div.movie-hover-info') for movie in movies: item = MaoyanMovieItem() # 提取电影名称 item['title'] = movie.css('span.name::text').get().strip() # 提取主演信息 actor_info = movie.css('div:hover-title::text').extract()[1].strip() item['actors'] = actor_info.replace('主演：', '').split(',') # 提取上映日期 release_info = movie.css('div:hover-title::text').extract()[2].strip() item['release_date'] = release_info.replace('上映时间：', '') # 提取评分（如果存在） score_element = movie.xpath('.//i[contains(@class, "integer")]/text()').get() fraction_element = movie.xpath('.//i[contains(@class, "fraction")]/text()').get() if score_element and fraction_element: item['score'] = f"{score_element}{fraction_element}" else: item['score'] = None yield item ``` --- #### 4. 配置Settings 编辑 `settings.py` 文件以优化性能并避免被封禁： ```python # 启用日志记录 LOG_LEVEL = 'INFO' # 设置下载延迟以防过快触发反爬机制 DOWNLOAD_DELAY = 1 # 禁止Cookie跟踪 COOKIES_ENABLED = False # 用户代理伪装成浏览器访问 USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' # 开启管道存储功能 ITEM_PIPELINES = { 'maoyan_movie_spider.pipelines.MaoyanMoviePipeline': 300, } ``` --- #### 5. 实现Pipeline存储数据 在 `pipelines.py` 中实现将数据保存到CSV文件的功能： ```python import csv class MaoyanMoviePipeline: def open_spider(self, spider): """打开蜘蛛时初始化CSV文件""" self.file = open('maoyan_movies.csv', mode='w', newline='', encoding='utf-8') self.writer = csv.DictWriter(self.file, fieldnames=['title', 'actors', 'release_date', 'score']) self.writer.writeheader() def process_item(self, item, spider): """逐项写入数据""" self.writer.writerow({ 'title': item['title'], 'actors': ','.join(item['actors']), 'release_date': item['release_date'], 'score': item['score'] }) return item def close_spider(self, spider): """关闭蜘蛛时清理资源""" self.file.close() ``` --- #### 6. 运行爬虫 执行以下命令启动爬虫： ```bash scrapy crawl maoyan_movies ``` 运行完成后，会在当前目录生成一个名为 `maoyan_movies.csv` 的文件，其中包含爬取的1000条电影数据[^1]。 --- ### 注意事项 - **反爬策略**：猫眼电影可能会有反爬措施，建议适当增加 `DOWNLOAD_DELAY` 或者使用代理池来降低频率。 - **数据清洗**：某些字段可能存在缺失或异常值，需进一步处理后再导入数据库或其他系统。 - **合法性声明**：确保遵守目标网站的服务条款及法律法规，仅用于合法目的。 ---