针对 Python 爬取 TMDB 数据的项目实战需求，其核心在于选择正确的数据获取途径并规避反爬机制。TMDB 提供了官方 API 和网页爬取两种方式，但后者因反爬严格且不稳定，**强烈推荐使用官方 API** 进行数据获取 [ref_2]。 以下是一个从 API 申请到数据抓取、存储的完整实战教程。 ### 1. 获取 TMDB API 访问凭证 这是使用官方 API 的第一步，也是必经之路 [ref_2]。 1. **注册账号**：访问 [The Movie Database (TMDB)](https://www.themoviedb.org/) 官网并完成注册。 2. **申请 API Key**： * 登录后，点击头像进入 **“Settings”**。 * 侧边栏选择 **“API”**。 * 在 “API” 页面，点击 **“Create”** 或 **“Request an API Key”**。 * 按照指引填写申请信息（通常选择 “Developer” 类型），同意条款后提交。 3. **获取并测试 Key**：申请通过后，在 “API” 页面即可看到你的 `API Key` (v3 auth) 和 `Read Access Token` (v4 auth)。可通过其提供的简单示例进行测试 [ref_2]。 ### 2. 项目实战：使用 Python 爬取电影数据 本示例将使用更主流的 `API Key (v3)`，通过 `requests` 库分页获取流行电影列表，并保存为 CSV 文件。 **环境准备**： ```bash pip install requests pandas ``` **核心代码实现**： ```python import requests import pandas as pd import time from typing import List, Dict class TMDBApiCrawler: def __init__(self, api_key: str): """ 初始化爬虫，设置API密钥和基础URL。 :param api_key: 你的TMDB API Key (v3 auth) """ self.api_key = api_key self.base_url = "https://api.themoviedb.org/3" # 设置请求头，模拟浏览器访问（良好实践） self.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' } # 设置请求间隔，防止触发API速率限制（关键防封策略）[ref_1][ref_2] self.request_delay = 0.5 def fetch_popular_movies(self, total_pages: int = 50, start_page: int = 1) -> List[Dict]: """ 分页获取流行电影数据。 :param total_pages: 要爬取的总页数 :param start_page: 起始页码 :return: 电影数据字典列表 """ all_movies = [] endpoint = "/movie/popular" for page in range(start_page, start_page + total_pages): # 构建请求参数 params = { 'api_key': self.api_key, 'language': 'zh-CN', # 获取中文信息 [ref_2] 'page': page } url = f"{self.base_url}{endpoint}" try: print(f"正在抓取第 {page} 页...") response = requests.get(url, params=params, headers=self.headers, timeout=10) response.raise_for_status() # 检查HTTP请求是否成功 data = response.json() # 提取当前页的电影结果 movies_on_page = data.get('results', []) for movie in movies_on_page: # 提取关键字段，可根据需要增减 [ref_1] processed_movie = { 'id': movie.get('id'), 'title': movie.get('title'), 'original_title': movie.get('original_title'), 'release_date': movie.get('release_date'), 'popularity': movie.get('popularity'), 'vote_average': movie.get('vote_average'), 'vote_count': movie.get('vote_count'), 'overview': movie.get('overview'), 'genre_ids': movie.get('genre_ids', []) # 类型ID列表 } all_movies.append(processed_movie) print(f"第 {page} 页抓取成功，共 {len(movies_on_page)} 部电影。") except requests.exceptions.RequestException as e: print(f"请求第 {page} 页时发生错误: {e}") break # 或根据策略选择重试 except ValueError as e: print(f"解析第 {page} 页的JSON响应时发生错误: {e}") break # 请求间隔，避免请求过快 [ref_1][ref_2] time.sleep(self.request_delay) print(f"所有页面抓取完成，共获取 {len(all_movies)} 部电影信息。") return all_movies def save_to_csv(self, movies_data: List[Dict], filename: str = 'tmdb_movies.csv'): """ 将电影数据保存到CSV文件。 :param movies_data: 电影数据字典列表 :param filename: 输出文件名 """ if not movies_data: print("无数据可保存。") return df = pd.DataFrame(movies_data) df.to_csv(filename, index=False, encoding='utf-8-sig') # 使用utf-8-sig支持Excel中文 print(f"数据已成功保存至 {filename}") # 主函数：执行爬取任务 if __name__ == "__main__": # !!! 重要：请替换成你自己申请的API Key !!! YOUR_API_KEY = "你的_api_key_放在这里" # 1. 实例化爬虫 crawler = TMDBApiCrawler(api_key=YOUR_API_KEY) # 2. 抓取数据（例如：前10页，约200部电影） movies = crawler.fetch_popular_movies(total_pages=10, start_page=1) # 3. 保存数据 crawler.save_to_csv(movies, 'tmdb_popular_movies.csv') ``` ### 3. 关键技术与策略解析 | 技术要点 | 说明 | 参考 | | :--- | :--- | :--- | | **使用官方 API** | 避免直接爬取网页，利用稳定、结构化的官方接口获取数据，是最高效合规的方式。 | [ref_2] | | **分页抓取** | TMDB API 返回数据通常分页，需循环请求不同页码以获取大量数据。 | [ref_2] | | **参数 `language`** | 在请求参数中设置 `‘language’: ‘zh-CN’` 可获取电影的中文标题、简介等信息。 | [ref_2] | | **请求间隔 (`time.sleep`)** | 在请求间插入延迟（如0.5秒），是**最核心的防封策略**，能有效模拟人类操作，避免触发服务器的反爬虫速率限制。 | [ref_1][ref_2] | | **设置请求头 (`User-Agent`)** | 模拟浏览器访问，是网络请求的基本规范。 | [ref_1] | | **异常处理 (`try-except`)** | 对网络请求和JSON解析进行异常捕获，增强程序的健壮性，避免因单次请求失败导致整个程序崩溃。 | [ref_1] | | **数据存储为CSV** | 使用 `pandas` 库将结构化的数据列表轻松转换为CSV文件，便于后续用Excel打开或进行数据分析。 | [ref_2][ref_5] | ### 4. 项目扩展与改进方向 1. **获取更多数据维度**：上述代码仅获取了电影列表的基础信息。你可以进一步调用 `/movie/{movie_id}` 端点来获取更详细的预算、营收、演职员表等信息 [ref_1]。 2. **数据清洗与预处理**：抓取的数据可能存在缺失值（如 `release_date` 为空），可使用 `pandas` 进行清洗，为后续分析做准备 [ref_5]。 3. **数据分析与可视化**：将数据导入后，可利用 `matplotlib` 或 `seaborn` 库分析电影类型分布、评分与票房的关联、年度上映趋势等，并绘制图表 [ref_5][ref_6]。 4. **构建完整系统**：将此爬虫作为数据源，结合 Flask 或 Django 构建后端，使用 MySQL 或 Hadoop 存储数据，并通过 ECharts 等库在前端实现交互式数据可视化仪表盘，形成一个完整的毕业设计或项目系统 [ref_3][ref_6]。