### 数据预处理与特征工程 #### 数据预处理的重要性 数据预处理是对原始数据进行清理、转换和集成的过程，目的是提高数据的质量并为后续建模做好准备。这一步骤对于任何机器学习项目都至关重要，因为它直接影响模型的性能和准确性[^3]。 #### 数据加载与初步查看 首先需要导入必要的库并将数据加载到程序中： ```python import pandas as pd import numpy as np # 加载数据 train_df = pd.read_csv('titanic_train.csv') test_df = pd.read_csv('titanic_test.csv') # 查看前几行数据 print(train_df.head()) ``` --- ### 特征工程 #### 处理缺失值 在泰坦尼克号数据集中，可能存在一些缺失值。可以通过填充或删除的方式处理这些缺失值： ```python # 对 Age 列使用均值填补缺失值 train_df['Age'].fillna(train_df['Age'].mean(), inplace=True) # 删除 Cabin 列（因为含有大量缺失值） train_df.drop(columns=['Cabin'], inplace=True) ``` #### 特征编码 将分类变量转化为数值型变量以便于模型理解： ```python from sklearn.preprocessing import LabelEncoder le = LabelEncoder() train_df['Sex'] = le.fit_transform(train_df['Sex']) # 将 'male' 映射为 1, 'female' 映射为 0 ``` #### 特征缩放 为了使不同尺度的特征具有相同的权重，在某些算法下可能需要对其进行标准化或归一化处理： ```python from sklearn.preprocessing import StandardScaler scaler = StandardScaler() features_to_scale = ['Age', 'Fare'] train_df[features_to_scale] = scaler.fit_transform(train_df[features_to_scale]) ``` --- ### 可视化 #### 使用 Matplotlib 和 Seaborn 展示数据分布 通过图表可以更直观地了解各个特征之间的关系以及目标变量的分布情况： ```python import matplotlib.pyplot as plt import seaborn as sns sns.countplot(x='Survived', data=train_df) # 生存人数对比图 plt.show() sns.boxplot(x='Sex', y='Age', hue='Survived', data=train_df) # 不同性别下的年龄分布差异 plt.show() ``` --- ### 卡方检验实现 卡方检验是一种统计学方法，用来检测两个分类变量之间是否存在显著关联。下面是如何针对泰坦尼克号数据集执行该测试的一个实例： ```python from scipy.stats import chi2_contingency # 构造交叉表 contingency_table = pd.crosstab(index=train_df['Sex'], columns=train_df['Survived']) # 执行卡方检验 chi2_statistic, p_value, dof, expected_freq = chi2_contingency(contingency_table.values) print(f"Chi-square statistic: {chi2_statistic}") print(f"P-value: {p_value}") print(f"Degrees of freedom: {dof}") print(f"Expected frequencies:\n{expected_freq}") ``` 如果返回的 P 值小于指定阈值（如 0.05），则可推断出这两个类别间确实存在某种依赖关系[^2]。 ---