### 数据读取与预处理 在处理表格数据时，通常需要从文件中读取数据并进行初步清洗。以下示例使用 Pandas 读取 CSV 文件，并展示如何处理重复数据、缺失值以及进行数据类型转换。 ```python import pandas as pd import numpy as np # 读取CSV文件 df = pd.read_csv('data.csv') # 显示前5行数据 print(df.head()) # 检查缺失值 print(df.isnull().sum()) # 填充缺失值（以0填充） df.fillna(0, inplace=True) # 删除重复行 df.drop_duplicates(inplace=True) # 更改数据类型（例如将某一列转换为整数） df['column_name'] = df['column_name'].astype(int) ``` ### 数据聚合与透视 Pandas 提供了强大的数据聚合功能，可以对数据进行分组统计。以下示例展示了如何使用 `groupby` 和 `pivot_table` 进行数据透视与汇总。 ```python # 按照某一列进行分组并求和 grouped = df.groupby('category_column')['numeric_column'].sum() print(grouped) # 使用pivot_table进行数据透视 pivot_table = pd.pivot_table(df, values='numeric_column', index='category_column', columns='another_category', aggfunc=np.sum) print(pivot_table) ``` ### 数据合并与连接 在实际应用中，常常需要将多个数据集合并在一起。Pandas 提供了 `merge` 和 `concat` 方法来实现这一功能。 ```python # 创建两个示例DataFrame df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2'], 'B': ['B0', 'B1', 'B2']}, index=[0, 1, 2]) df2 = pd.DataFrame({'A': ['A3', 'A4', 'A5'], 'B': ['B3', 'B4', 'B5']}, index=[3, 4, 5]) # 纵向合并两个DataFrame result_concat = pd.concat([df1, df2]) print(result_concat) # 合并两个DataFrame（内连接） df3 = pd.DataFrame({'key': ['K0', 'K1', 'K2'], 'C': ['C0', 'C1', 'C2']}) merged_df = pd.merge(df1, df3, on='key', how='inner') print(merged_df) ``` ### 数据导出 完成数据处理后，可以将结果导出为 CSV、Excel 或其他格式。 ```python # 导出为CSV文件 df.to_csv('processed_data.csv', index=False) # 导出为Excel文件 df.to_excel('processed_data.xlsx', index=False) ``` ### 示例：处理重复数据并统计频率 以下示例演示如何处理重复数据并统计某一列的频率分布。 ```python # 创建示例数据 values = np.array([1, 2, 3, 4, 5]) data = pd.DataFrame(values, index=["红", "橙", "黄", "红", "黄"], columns=["出现次数"]) data.index.rename("颜色", inplace=True) print(data) # 对“颜色”的“出现次数”进行求和 data_sum_by_color = data.groupby("颜色")["出现次数"].sum() print(data_sum_by_color) ``` ###