### 数据处理与分析编程题总结 #### 1. 数据读取与基础处理 在数据处理的初始阶段，通常需要从文件或数据库中读取数据。Pandas 提供了 `read_csv()`、`read_excel()` 等函数用于加载数据。数据加载后可以进行基本的预览和处理，例如查看前几行、检查缺失值等。 ```python import pandas as pd # 读取CSV文件 df = pd.read_csv('data.csv') # 查看前5行数据 print(df.head()) # 检查缺失值 print(df.isnull().sum()) ``` #### 2. 数据清洗 数据清洗是数据分析中非常关键的一步，包括处理缺失值、重复值、数据类型转换等。 ```python # 填充缺失值 df.fillna(0, inplace=True) # 删除重复行 df.drop_duplicates(inplace=True) # 转换数据类型 df['column_name'] = df['column_name'].astype(float) ``` #### 3. 数据筛选与排序 在数据处理过程中，经常需要根据特定条件筛选数据或对数据进行排序。 ```python # 筛选数据 filtered_data = df[df['column_name'] > 100] # 排序数据 sorted_data = df.sort_values(by='column_name', ascending=False) ``` #### 4. 数据分组与聚合 使用 `groupby()` 方法可以对数据进行分组，并结合聚合函数进行统计分析。 ```python # 分组统计 grouped_data = df.groupby('category_column').agg({'numeric_column': 'mean'}) # 多列分组 grouped_data_multi = df.groupby(['category_column1', 'category_column2']).size() ``` #### 5. 数据合并与连接 Pandas 提供了多种方式用于合并多个数据集，包括 `concat()`、`merge()` 和 `join()` 等方法。 ```python # 沿着行方向合并 combined_df = pd.concat([df1, df2], axis=0) # 主键合并 merged_df = pd.merge(df1, df2, on='key_column') # 索引合并 joined_df = df1.join(df2, on='key_column', how='inner') ``` #### 6. 数据可视化 数据可视化是数据分析的重要环节，可以使用 Matplotlib 和 Seaborn 等库进行图表绘制。 ```python import matplotlib.pyplot as plt import seaborn as sns # 绘制折线图 plt.plot(df['x_column'], df['y_column']) plt.show() # 绘制柱状图 sns.barplot(x='category_column', y='numeric_column', data=df) plt.show() ``` #### 7. 数据导出 完成数据处理和分析后，通常需要将结果保存到文件中。 ```python # 导出为CSV文件 df.to_csv('processed_data.csv', index=False) # 导出为Excel文件 df.to_excel('processed_data.xlsx', index=False) ``` ###