### 使用 Pandas 清洗 JSON 格式的电影数据并进行可视化的方法 #### 1. 数据加载与初步查看 Pandas 提供了 `pd.read_json()` 方法，可以直接将 JSON 文件或字符串加载为 DataFrame。对于扁平的 JSON 数据结构，这种方法非常高效[^1]。 ```python import pandas as pd # 加载 JSON 文件 df = pd.read_json("movies.json") print("从 JSON 文件中读取的数据：") print(df.head()) ``` 上述代码片段展示了如何读取 JSON 文件并打印前几行数据以检查数据结构和内容。 #### 2. 处理嵌套 JSON 数据 如果 JSON 数据具有嵌套结构（例如包含列表或字典的字段），可以使用 `pd.json_normalize()` 函数将其转换为扁平化的表格结构[^1]。 ```python from pandas import json_normalize # 假设 JSON 数据包含嵌套字段 data = { "movie": [ {"title": "Movie A", "details": {"year": 2020, "rating": 8.5}}, {"title": "Movie B", "details": {"year": 2021, "rating": 9.0}} ] } # 使用 json_normalize 展平嵌套数据 df_normalized = json_normalize(data['movie'], max_level=1) print("展平后的数据：") print(df_normalized.head()) ``` 通过上述方法，可以确保所有嵌套字段被正确解析为单独的列。 #### 3. 数据清洗 在数据清洗阶段，可能需要处理缺失值、重复值或格式不一致的问题。以下是一些常见的数据清洗操作： - **处理缺失值**：可以通过删除或填充缺失值来解决。 ```python # 删除包含缺失值的行 df_cleaned = df.dropna() # 或者用特定值填充缺失值 df_filled = df.fillna({'rating': 0}) ``` - **删除重复值**： ```python df_deduplicated = df.drop_duplicates() ``` - **类型转换**：确保数据列的类型正确，例如将年份转换为整数类型。 ```python df['year'] = df['year'].astype(int) ``` #### 4. 数据分析与统计 完成数据清洗后，可以对数据进行基本的统计分析。例如，计算电影评分的平均值、最大值和最小值。 ```python print("评分的基本统计信息：") print(df['rating'].describe()) ``` 此外，还可以根据某些条件筛选数据。例如，筛选评分高于 8.0 的电影。 ```python high_rated_movies = df[df['rating'] > 8.0] print("高评分电影：") print(high_rated_movies) ``` #### 5. 数据可视化 Pandas 结合 Matplotlib 和 Seaborn 可以轻松实现数据可视化。以下是一些示例： - **绘制评分分布直方图**： ```python import matplotlib.pyplot as plt df['rating'].plot(kind='hist', bins=10, title='电影评分分布') plt.xlabel('评分') plt.ylabel('频数') plt.show() ``` - **绘制评分与年份的关系散点图**： ```python plt.scatter(df['year'], df['rating']) plt.title('评分与年份的关系') plt.xlabel('年份') plt.ylabel('评分') plt.show() ``` - **使用 Seaborn 绘制更复杂的图表**： ```python import seaborn as sns sns.barplot(x='year', y='rating', data=df) plt.title('按年份划分的平均评分') plt.show() ``` 通过这些图表，可以直观地了解电影数据的分布特征和趋势。 #### 注意事项 在实际应用中，需要注意数据来源的合法性以及爬虫行为是否符合目标网站的使用条款[^3]。