### 使用 PyCharm 编写爬虫程序爬取豆瓣电影 Top250 的步骤 #### 一、环境搭建 在开始之前，需要安装 Python 和 Scrapy 框架，并配置好开发工具 PyCharm。 1. **安装依赖库** 需要先通过 pip 安装 Scrapy 库以及可能用到的其他辅助库（如 pandas）。运行以下命令完成安装： ```bash pip install scrapy pandas ``` 2. **配置 PyCharm** 打开 PyCharm 并创建一个新的虚拟环境，在设置中指定解释器路径并导入所需的包。确保 `scrapy` 已被成功加载至当前环境中[^1]。 --- #### 二、具体实现过程 ##### 1. 新建项目 (Project) 启动终端或者直接使用 PyCharm 内置的 Terminal 功能，执行以下命令初始化新的 Scrapy 项目： ```bash scrapy startproject douban_movie_top250 ``` 这会生成一个名为 `douban_movie_top250` 的目录结构，其中包含了多个子文件夹用于管理不同部分的功能模块。 ##### 2. 明确目标（Items） 定义所需提取的信息字段。编辑位于项目的 `items.py` 文件中添加自定义类表示每条记录的内容模型： ```python import scrapy class DoubanMovieItem(scrapy.Item): name = scrapy.Field() # 影片名称 rating = scrapy.Field() # 用户评分 quote = scrapy.Field() # 经典台词摘要 link = scrapy.Field() # 原始链接地址 ``` ##### 3. 制作爬虫（Spider） 进入 spiders 子目录下新增 python 脚本命名为例如 `top_movies_spider.py` ，编写具体的逻辑代码片段如下所示： ```python import scrapy from ..items import DoubanMovieItem class MovieSpider(scrapy.Spider): name = 'movie' allowed_domains = ['movie.douban.com'] start_urls = [ f'https://movie.douban.com/top250?start={page * 25}' for page in range(10)] def parse(self, response): items = [] movies = response.css('div.item') for movie in movies: item = DoubanMovieItem() title = movie.css('.title::text').get().strip() score = float(movie.css('.rating_num::text').get()) url = movie.css('a::attr(href)').get() try: summary = movie.css('.inq::text').get().strip() except AttributeError: summary = None item['name'] = title item['rating'] = score item['quote'] = summary item['link'] = url yield item next_page_url = response.xpath('//span[@class="next"]/a/@href').extract_first() if next_page_url is not None: absolute_next_page_url = response.urljoin(next_page_url) yield scrapy.Request(url=absolute_next_page_url, callback=self.parse) ``` 此 Spider 将遍历所有页面直到获取完整的 top250 数据集为止[^1]。 ##### 4. 设计管道（Pipeline） 为了保存抓取下来的结果可以修改 pipelines.py 来处理输出形式比如存入 CSV 或者 JSON 文件当中去: ```python import csv class CsvWriterPipeline(object): def open_spider(self, spider): self.file = open("movies.csv", mode='w', newline='', encoding='utf-8') fieldnames = ["name", "rating", "quote", "link"] self.writer = csv.DictWriter(self.file, fieldnames=fieldnames) self.writer.writeheader() def process_item(self, item, spider): row_data = dict(item) self.writer.writerow(row_data) return item def close_spider(self, spider): self.file.close() ``` 最后别忘了激活该 pipeline 设置项于 settings.py 中加入下面这一行语句启用它： ```python ITEM_PIPELINES = {'douban_movie_top250.pipelines.CsvWriterPipeline': 300} ``` --- #### 三、运行与查看结果 回到命令行界面切换回根目录位置输入指令即可触发整个流程自动执行完毕之后会在本地磁盘找到最终形成的 movies.csv 文档供进一步分析研究之用途: ```bash cd /path/to/your/project/directory/ scrapy crawl movie -o output.json ``` 如果一切正常的话你应该能够看到控制台打印出来的日志消息表明任务顺利完成并且生成了一份 json/csv 格式的文档里面包含有全部符合条件的相关信息列表[^2]. ---