### Python 数据预处理和数据清洗的常用方法和技巧 #### 1. 字符串操作 在数据预处理过程中，字符串操作是非常重要的一步。可以通过Python的内置字符串方法或正则表达式来清理文本数据。例如，可以使用`strip()`去除首尾空白字符，使用`replace()`替换特定子字符串，以及通过正则表达式匹配复杂模式[^3]。 ```python import re text = " Hello, World! " cleaned_text = text.strip().lower() print(cleaned_text) # 输出: hello, world! pattern = r'[^\w\s]' result = re.sub(pattern, '', cleaned_text) print(result) # 输出: hello world ``` #### 2. 缺失值处理 对于缺失值的处理，常见的方法包括删除含有缺失值的记录、用统计量（如均值、中位数、众数）填充，或者采用插值法进行估计[^4]。以下是几种常用的实现方式： - **均值填充**：适用于数值型变量。 - **中位数填充**：适合存在极端值的情况。 - **众数填充**：通常用于类别型变量。 ```python import pandas as pd data = {'A': [1, None, 3], 'B': [None, 5, 6]} df = pd.DataFrame(data) # 均值填充 df['A'] = df['A'].fillna(df['A'].mean()) # 中位数填充 df['B'] = df['B'].fillna(df['B'].median()) print(df) ``` #### 3. 异常值检测与处理 异常值可能会影响模型性能，因此需要对其进行适当处理。常见的策略有直接删除、将其视为缺失值并应用缺失值处理方法、用前后观测值的平均值替代等[^5]。 ```python def detect_outliers_zscore(data): threshold = 3 mean_y = data.mean() stdev_y = data.std() z_scores = [(y - mean_y) / stdev_y for y in data] return np.where(np.abs(z_scores) > threshold) outliers = detect_outliers_zscore(df['A']) if outliers: df.loc[outliers, 'A'] = df['A'].mean() # 使用均值修复异常值 ``` #### 4. 数据标准化/归一化 为了使不同特征具有相同的尺度范围，在构建机器学习模型之前经常会对数据进行标准化或归一化处理[^1]。 ```python from sklearn.preprocessing import StandardScaler, MinMaxScaler scaler = StandardScaler() scaled_data = scaler.fit_transform(df[['A', 'B']]) print(scaled_data) ``` #### 5. 特征编码 当面对分类变量时，需将其转化为数值形式以便于后续计算。这可通过标签编码(Label Encoding) 或独热编码(One-Hot Encoding) 实现。 ```python df_encoded = pd.get_dummies(df, columns=['category_column'], drop_first=True) print(df_encoded) ``` ---