### 编写Python爬虫抓取豆瓣影评数据 要实现从豆瓣网站抓取1万条影评数据的目标，可以通过以下方法完成： #### 使用 `requests` 和 `BeautifulSoup` 通过组合使用 `requests` 库发送 HTTP 请求以及 `BeautifulSoup` 解析 HTML 页面内容，能够有效提取所需的数据。 ```python import requests from bs4 import BeautifulSoup import time headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36' } def fetch_reviews(url): response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') reviews = [] review_blocks = soup.find_all('div', {'class': 'review-item'}) for block in review_blocks: try: username = block.find('span', {'class': 'name'}).text.strip() comment_time = block.find('span', {'class': 'main-meta'}).text.strip() content = block.find('div', {'class': 'short-content'}).text.strip().replace('显示全部', '') reviews.append({ 'username': username, 'comment_time': comment_time, 'content': content }) except Exception as e: continue next_page_link = soup.find('a', {'rel': 'next'}) if next_page_link and 'href' in next_page_link.attrs: return reviews, f"https://movie.douban.com{next_page_link['href']}" else: return reviews, None url = 'https://movie.douban.com/subject/1292063/reviews' all_reviews = [] while url is not None: new_reviews, url = fetch_reviews(url) all_reviews.extend(new_reviews) print(f"Fetched {len(all_reviews)} reviews so far.") if len(all_reviews) >= 10000: break time.sleep(2) print("Total Reviews Fetched:", len(all_reviews)) ``` 此代码片段展示了如何利用 `requests` 发送带有自定义头部信息的请求[^2]，并通过 `BeautifulSoup` 提取出每条评论的相关字段。为了防止被封禁 IP 地址，在每次请求之间加入了短暂延迟[^3]。 #### 定义 Scrapy Items 并构建 Spider Scrapy 是一个功能强大的框架，适合于更复杂的爬虫项目。首先需要定义好待采集项模型，接着创建具体的 spider 文件来执行实际的任务逻辑。 ```python # items.py 中定义结构化数据容器 import scrapy class DoubanReviewItem(scrapy.Item): film_name = scrapy.Field() # 影片名称 user_name = scrapy.Field() # 用户昵称 comment_time = scrapy.Field() # 评价日期 comment = scrapy.Field() # 具体评论文字 ``` 随后建立一个新的 Spider 类型文件用于描述具体的行为模式: ```python import scrapy from ..items import DoubanReviewItem class MovieReviewsSpider(scrapy.Spider): name = "douban_movie_reviews" allowed_domains = ["movie.douban.com"] start_urls = ['https://movie.douban.com/subject/1292063/reviews'] custom_settings = { 'DOWNLOAD_DELAY': 2, 'USER_AGENT': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)...', } def parse(self, response): for selector in response.css('.review-item'): item = DoubanReviewItem() item['film_name'] = response.meta.get('title') or '' item['user_name'] = selector.css('.name::text').get('').strip() item['comment_time'] = selector.css('.main-meta::text').get('').strip() item['comment'] = selector.css('.short-content *::text').extract_first(default='').strip() yield item next_page_url = response.css('a.next::attr(href)').get() if next_page_url: yield scrapy.Request( url=response.urljoin(next_page_url), callback=self.parse, meta={'title': response.meta.get('title')} ) ``` 上述示例中设置了下载延时参数 DOWNLOAD_DELAY 来降低访问频率，并且指定了 USER_AGENT 字符串模拟真实浏览器行为[^4]^。 ### 数据存储方式选择 考虑到最终可能获得大量记录，推荐采用数据库作为持久化的解决方案之一。SQLite 或 MongoDB 都是非常不错的选择，前者轻量级易于部署维护；后者则提供了灵活文档形式支持动态扩展属性列表的需求场景下表现优异。 ---