### 爬取豆瓣电影Top250并存储到MySQL数据库 要使用Scrapy框架爬取豆瓣电影Top250的数据，并将电影名称、英文名称、评分和评价人数存入MySQL数据库，可以按照以下方法实现。以下是完整的解决方案。 #### 1. 定义 `items.py` 首先，在 `items.py` 中定义需要爬取的字段。这些字段包括电影的中文名称、英文名称、评分和评价人数。 ```python import scrapy class DoubanMovieItem(scrapy.Item): chinese_name = scrapy.Field() # 中文片名 english_name = scrapy.Field() # 英文片名 rating = scrapy.Field() # 评分 rating_count = scrapy.Field() # 评价人数 ``` [^1] #### 2. 编写爬虫文件 `movie_spider.py` 在爬虫文件中，定义爬取逻辑。通过访问豆瓣电影Top250页面，提取所需信息。 ```python import scrapy from ..items import DoubanMovieItem class MovieSpider(scrapy.Spider): name = "douban_movie" allowed_domains = ["movie.douban.com"] start_urls = [ f"https://movie.douban.com/top250?start={page * 25}" for page in range(10) ] def parse(self, response): for movie_item in response.css("div.item"): item = DoubanMovieItem() item["chinese_name"] = movie_item.css("span.title::text").extract_first() item["english_name"] = movie_item.css("span.title::text").extract()[1].strip().replace("\xa0", "") if len(movie_item.css("span.title::text").extract()) > 1 else None item["rating"] = movie_item.css("span.rating_num::text").extract_first() item["rating_count"] = movie_item.css("div.star span::text").re(r"(\d+)人评价")[0] yield item ``` [^2] #### 3. 配置数据管道 `pipelines.py` 在 `pipelines.py` 中，定义如何将爬取的数据存储到MySQL数据库中。 ```python import pymysql class MySQLPipeline(object): def __init__(self): self.connect = pymysql.connect( host='localhost', # 数据库地址 port=3306, # 数据库端口 db='douban_movies', # 数据库名 user='root', # 数据库用户名 passwd='password', # 数据库密码 charset='utf8mb4', # 字符编码 use_unicode=True ) self.cursor = self.connect.cursor() def process_item(self, item, spider): sql = """ INSERT INTO movies (chinese_name, english_name, rating, rating_count) VALUES (%s, %s, %s, %s) """ self.cursor.execute(sql, ( item['chinese_name'], item['english_name'], item['rating'], item['rating_count'] )) self.connect.commit() return item def close_spider(self, spider): self.cursor.close() self.connect.close() ``` [^3] #### 4. 配置 `settings.py` 确保在 `settings.py` 中启用管道，并设置其他必要的参数。 ```python # 启用管道 ITEM_PIPELINES = { 'douban.pipelines.MySQLPipeline': 300, } # 设置User-Agent避免被反爬 USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' ``` [^4] #### 5. 创建 MySQL 表结构 在 MySQL 数据库中创建一个表来存储爬取的数据。 ```sql CREATE DATABASE douban_movies CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci; USE douban_movies; CREATE TABLE movies ( id INT AUTO_INCREMENT PRIMARY KEY, chinese_name VARCHAR(255), english_name VARCHAR(255), rating DECIMAL(3, 1), rating_count INT ); ``` [^3] #### 6. 运行爬虫 完成上述配置后，运行爬虫以开始爬取数据。 ```bash scrapy crawl douban_movie ``` --- ###