### Python 数据分析 第二版 第四章 数据预处理 代码 示例 以下是基于参考资料中的内容整理的关于数据预处理的一些典型代码示例，涵盖了缺失值处理、重复值处理、异常值检测以及标准化等内容。 #### 缺失值处理 ```python import pandas as pd import numpy as np # 创建带有缺失值的数据框 data = pd.DataFrame({ 'A': [1, 2, np.nan], 'B': [5, np.nan, np.nan], 'C': [1, 2, 3] }) # 删除含有缺失值的行 data_dropped_rows = data.dropna() # 删除含有缺失值的列 data_dropped_columns = data.dropna(axis=1) # 使用均值填充缺失值 mean_value = data['A'].mean() data_filled_mean = data.fillna(mean_value) print(data_dropped_rows) print(data_dropped_columns) print(data_filled_mean) ``` 上述代码展示了如何通过删除或填充的方式处理缺失值[^1]。 #### 重复值处理 ```python # 检测并移除重复行 data_with_duplicates = pd.DataFrame({ 'A': [1, 2, 1], 'B': ['a', 'b', 'a'] }) data_no_duplicates = data_with_duplicates.drop_duplicates() print(data_no_duplicates) ``` 此部分代码用于识别和去除数据帧中的重复记录。 #### 异常值检测 ```python from scipy import stats z_scores = np.abs(stats.zscore(data)) filtered_entries = (z_scores < 3).all(axis=1) clean_data = data[filtered_entries] print(clean_data) ``` 利用 Z-Score 方法可以有效检测并过滤掉数据中的异常值[^3]。 #### 数据标准化 ##### Min-Max 标准化 ```python from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() scaled_data_minmax = scaler.fit_transform(data[['A', 'B']]) print(scaled_data_minmax) ``` ##### Z-Score 标准化 ```python from sklearn.preprocessing import StandardScaler scaler_z_score = StandardScaler() scaled_data_standard = scaler_z_score.fit_transform(data[['A', 'B']]) print(scaled_data_standard) ``` 以上两种方法分别实现了最小最大规范化与标准分数变换，适用于不同场景下的特征缩放需求。 #### 主成分分析（PCA） ```python from sklearn.decomposition import PCA pca_model = PCA(n_components=2) # 设置保留两个主成分 principal_components = pca_model.fit_transform(data[['A', 'B']]) explained_variance_ratio = pca_model.explained_variance_ratio_ components_matrix = pca_model.components_ print(principal_components) print(explained_variance_ratio) print(components_matrix) ``` 这段代码演示了如何运用主成分分析降低维度，并查看各主成分解释原始变量方差的比例及其对应的特征向量。 --- ###