### 豆瓣电影排行榜数据爬取 要使用 Scrapy 框架爬取豆瓣电影排行榜的相关信息，可以通过以下方式实现。以下是完整的解决方案： #### 1. 安装依赖 首先需要安装 Python 和 Scrapy 框架。如果尚未安装 Scrapy，可以运行以下命令进行安装： ```bash pip install scrapy ``` #### 2. 创建 Scrapy 项目 创建一个新的 Scrapy 项目来管理爬虫逻辑： ```bash scrapy startproject douban_movie_ranking cd douban_movie_ranking ``` #### 3. 编写 Spider 文件 在 `douban_movie_ranking/spiders/` 目录下新建一个名为 `movie_spider.py` 的文件，并编写如下代码： ```python import scrapy class MovieSpider(scrapy.Spider): name = 'movie' allowed_domains = ['douban.com'] start_urls = ['https://movie.douban.com/chart'] # 替换为目标页面 URL def parse(self, response): movies = response.css('div.article table tr.item') for movie in movies: rank = movie.css('td:nth-child(1)::text').get().strip() or None title = movie.css('a[href*="subject"]::attr(title)').get() link = movie.css('a[href*="subject"]::attr(href)').get() info = movie.css('p.pl::text').get() rating = movie.css('span.rating_nums::text').get() num_ratings = movie.css('span.pl::text').re(r'(\d+)')[0] if movie.css('span.pl::text').re(r'\((\d+)\)') else None yield { 'rank': rank, 'title': title, 'link': link, 'info': info, 'rating': rating, 'num_ratings': num_ratings } ``` 此代码实现了对目标网页的解析并提取所需字段。 #### 4. 数据存储 可以在 `settings.py` 中配置数据导出到 JSON 或 CSV 文件中： ```python FEED_FORMAT = 'json' FEED_URI = 'movies.json' ``` 或者通过命令行参数指定输出路径： ```bash scrapy crawl movie -o movies.csv ``` #### 5. 运行爬虫 执行以下命令启动爬虫程序： ```bash scrapy crawl movie ``` 这将自动抓取目标页面中的所有电影信息，并将其保存为本地文件。 --- ### 技术细节说明 - **Scrapy 框架** 是一种高效的 Web 爬虫工具，适用于结构化 HTML 页面的数据采集工作[^1]。 - 使用 CSS Selectors 提高了选择器编写的灵活性和可读性，便于快速定位目标节点[^1]。 - 对于复杂的嵌套数据（如评价人数），采用正则表达式匹配方法进一步抽取数值。 --- ### 注意事项 由于豆瓣网站可能存在反爬措施，在实际操作过程中需要注意以下几点： - 设置合理的请求间隔时间以降低服务器压力； - 添加 User-Agent 头部伪装成浏览器访问行为； - 如果遇到验证码或其他防护手段，则需考虑引入代理 IP 或其他高级技术解决。 ---