### Python 电影数据爬取与分析教程 #### 环境准备 在开始之前，需要安装必要的依赖库。这些库包括 `requests`、`BeautifulSoup4` 和 `pandas`，它们分别用于发送 HTTP 请求、解析 HTML 页面和处理数据[^4]。 ```bash pip install requests beautifulsoup4 pandas lxml json time scrapy flask django sqlite3 pymongo ``` --- #### 数据爬取流程 以下是使用 Python 进行电影数据爬取的具体方法： 1. **目标网站的选择** 可以选择 IMDb 或者豆瓣这样的知名平台作为数据源。例如，在豆瓣电影排行榜中，可以通过 AJAX 接口获取 JSON 格式的电影列表[^5]。 2. **发送请求** 使用 `requests` 库向目标 URL 发送 GET 请求，并设置合适的 headers 来模拟浏览器行为，从而降低被封禁的风险。 ```python import requests url = "https://movie.douban.com/j/chart/top_list" params = { "type": 5, # 类型参数 "interval_id": "100:90", # 评分区间 "action": "", "start": 0, # 起始索引 "limit": 20 # 返回数量 } headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)" } response = requests.get(url, params=params, headers=headers) data = response.json() ``` 3. **数据解析** 将返回的 JSON 数据转换为结构化形式以便进一步操作。这里可以直接利用 Pandas 的 DataFrame 对象来管理数据表。 ```python import pandas as pd df = pd.DataFrame(data) print(df.head()) ``` 4. **异常处理** 在实际应用过程中可能会遇到网络波动或者服务器拒绝访问等问题，因此建议加入 try-except 块捕获可能发生的错误并记录日志信息[^3]。 ```python from urllib.error import URLError try: response.raise_for_status() # 如果响应状态码表示失败，则抛出异常 except URLError as e: print(f"Error occurred while fetching the page: {e}") finally: pass ``` 5. **保存结果** 把最终整理好的数据导出成 CSV 文件或者其他持久化的存储介质上，方便之后做更多维度上的探索性研究工作。 ```python output_file = "./movies.csv" df.to_csv(output_file, index=False, encoding="utf_8_sig") ``` --- #### 数据清洗与预处理 由于原始数据可能存在缺失值或格式不一致的情况，所以要先对其进行清理后再进入下一步骤——特征工程阶段[^1]。 - 删除重复项； - 替换空字符串为 NaN 并填充平均数或其他策略填补空白字段； - 统一日期时间戳表达方式等等。 ```python df.drop_duplicates(inplace=True) from numpy import nanmean for col in ["rating"]: mean_value = nanmean([float(i.replace(",", "")) for i in list(filter(None, df[col].values))]) df.loc[df[col].isnull(), col] = str(mean_value)[:len(str(int(mean_value)))] import re pattern = r"\d{4}-\d{2}-\d{2}" def convert_date(x): match_result = re.search(pattern, x) return match_result.group(0) if match_result else None if 'release_date' in df.columns.tolist(): df['release_year'] = df['release_date'].apply(convert_date) ``` --- #### 数据可视化 借助 Matplotlib 或 Seaborn 工具包绘制图表辅助理解整体趋势变化规律。 ```python import matplotlib.pyplot as plt plt.style.use('ggplot') fig, ax = plt.subplots(figsize=(10,6)) ax.barh(y=df.title[:10], width=df.rating[:10].astype(float), color='skyblue') ax.invert_yaxis() for spine_location in ['top', 'right']: ax.spines[spine_location].set_visible(False) ax.set_xlabel('Rating Score') ax.set_title('Top Rated Movies on Douban'); ``` --- #### 构建预测模型 如果希望更深层次挖掘潜在价值的话，还可以尝试引入机器学习算法训练回归类别的估计器完成未来票房收入估算任务[^1]。 ```python from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.2, random_state=42) from sklearn.linear_model import LinearRegression regressor = LinearRegression().fit(X_train, y_train) print("Training score:", regressor.score(X_train, y_train)) print("Testing score:", regressor.score(X_test, y_test)) ``` ---