# Python数据分析实战：用Pandas和sklearn玩转Iris数据集（附完整代码）
如果你刚开始接触数据分析，面对一堆陌生的术语和代码感到无从下手，那么Iris数据集就是你最好的“练手场”。这个经典的小数据集，就像学游泳时的浅水区，让你在安全的环境里熟悉Pandas的数据操作，感受sklearn建模的魅力，而不用担心被海量数据和复杂业务逻辑淹没。我刚开始学数据分析时，也是从Iris入门的，当时最大的感受是：原来那些听起来高大上的“特征工程”、“模型评估”，用这个数据集可以如此直观地理解和实践。
今天，我们就抛开那些枯燥的理论，直接上手代码。我会带你走完一个完整的数据分析小项目：从数据的获取与探索，到清洗与可视化，再到构建一个简单的分类模型，最后用模型去预测新数据。整个过程你会看到Pandas如何灵活地处理表格，sklearn如何简洁地搭建机器学习流程。更重要的是，我会分享一些我早期摸索时踩过的坑和总结的技巧，希望能帮你少走弯路。
## 1. 环境准备与数据初探
在动手写任何代码之前，确保你的Python环境里已经安装了必要的库。打开你的终端或命令提示符，用pip安装以下核心包：
```bash
pip install pandas numpy scikit-learn matplotlib seaborn
```
* `pandas`：数据分析的基石，用于数据读取、清洗、转换和分析。
* `numpy`：提供高效的数组运算，是许多科学计算库的基础。
* `scikit-learn`（简称sklearn）：机器学习工具箱，包含了从数据预处理到模型训练的全套工具。
* `matplotlib` 和 `seaborn`：数据可视化库，让数据规律一目了然。
安装完成后，我们就可以在Jupyter Notebook或你喜欢的Python IDE中开始了。首先，让我们把Iris数据集加载进来，看看它的“庐山真面目”。
```python
# 导入必要的库
import pandas as pd
import numpy as np
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt
import seaborn as sns
# 设置绘图风格，让图表更好看
sns.set(style="whitegrid")
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号
# 从sklearn加载数据集
iris = load_iris()
```
`load_iris()`返回的是一个Bunch对象，这是一种类似字典的数据结构。我们来看看里面都有什么：
```python
print("数据类型:", type(iris))
print("\n可用的键:", iris.keys())
print("\n特征名称:", iris.feature_names)
print("\n目标类别名称:", iris.target_names)
```
你会看到类似这样的输出：
```
数据类型: <class 'sklearn.utils.Bunch'>
可用的键: dict_keys(['data', 'target', 'frame', 'target_names', 'DESCR', 'feature_names', 'filename', 'data_module'])
特征名称: ['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']
目标类别名称: ['setosa' 'versicolor' 'virginica']
```
> **提示**：`iris.DESCR`包含了数据集的详细描述，包括背景、特征说明等。打印出来看看，是了解一个新数据集的好习惯。
数据（`iris.data`）和目标标签（`iris.target`）目前是独立的numpy数组。为了用Pandas进行更方便的分析，我们将其合并成一个DataFrame。
```python
# 将数据和特征名称转换为DataFrame
df = pd.DataFrame(data=iris.data, columns=iris.feature_names)
# 添加目标列（花的种类）
df['species'] = iris.target
# 将数字标签映射为可读的字符串名称
df['species'] = df['species'].map({0: 'setosa', 1: 'versicolor', 2: 'virginica'})
# 查看前5行数据
print("数据概览（前5行）:")
print(df.head())
```
现在，数据已经以整洁的表格形式呈现了。我们先用Pandas的几个核心方法快速了解数据全貌：
```python
# 查看数据的基本信息：行数、列数、数据类型、非空值数量
print("数据基本信息:")
df.info()
# 查看数值型特征的统计摘要：计数、均值、标准差、最小值、四分位数、最大值
print("\n数值特征统计摘要:")
print(df.describe())
# 查看类别分布是否均衡
print("\n各类别样本数量:")
print(df['species'].value_counts())
```
从`df.info()`可以看到，所有150行数据都是完整的，没有缺失值，这为我们省去了处理缺失值的步骤。`df.describe()`给出的统计量则能让我们对每个特征的分布有一个初步印象，比如花瓣长度（petal length）的均值是3.76厘米，但标准差有1.76厘米，说明不同样本间差异较大。而类别分布显示三种鸢尾花各50个样本，非常均衡。
## 2. 数据清洗与特征工程
虽然Iris数据集非常干净，但真实世界的数据很少如此完美。这一节，我们模拟一些常见的数据问题并处理它们，同时进行一些基本的特征工程，为后续建模做准备。
**首先，我们故意“制造”一点缺失值，然后学习如何处理：**
```python
# 为了演示，随机在‘sepal width (cm)’列插入5个缺失值
np.random.seed(42) # 确保结果可复现
missing_indices = np.random.choice(df.index, size=5, replace=False)
df.loc[missing_indices, 'sepal width (cm)'] = np.nan
print("插入缺失值后，各列缺失情况:")
print(df.isnull().sum())
```
处理缺失值有多种策略，选择哪种取决于数据和业务背景。常见方法有：
- **删除缺失行**：如果缺失数据很少，且随机分布，可以考虑直接删除。
- **填充固定值**：用0、均值、中位数或众数填充。
- **前后值填充**：对于时间序列数据，常用前一个或后一个值填充。
- **模型预测填充**：用其他特征建立模型来预测缺失值。
对于这里的5个缺失值，我们尝试用该列的均值来填充：
```python
# 计算‘sepal width (cm)’的均值（自动忽略NaN）
mean_sepal_width = df['sepal width (cm)'].mean()
print(f"花萼宽度均值为: {mean_sepal_width:.2f} cm")
# 用均值填充缺失值
df['sepal width (cm)'].fillna(mean_sepal_width, inplace=True)
print("\n填充后缺失值检查:")
print(df.isnull().sum())
```
**接下来，检查并处理重复数据：**
```python
# 检查是否有完全重复的行
duplicate_rows = df.duplicated().sum()
print(f"完全重复的行数: {duplicate_rows}")
# 如果有重复，可以删除
if duplicate_rows > 0:
df.drop_duplicates(inplace=True)
print(f"已删除重复行，剩余行数: {len(df)}")
```
**然后，我们进行一些简单的特征工程。** 特征工程的目的是创造对模型预测更有帮助的新特征。对于Iris数据，我们可以基于已有的四个测量值构造一些比率或面积特征。
```python
# 创建新特征：花萼面积（近似）和花瓣面积（近似）
df['sepal_area'] = df['sepal length (cm)'] * df['sepal width (cm)']
df['petal_area'] = df['petal length (cm)'] * df['petal width (cm)']
# 创建新特征：花瓣长宽比和花萼长宽比
df['petal_ratio'] = df['petal length (cm)'] / df['petal width (cm)']
df['sepal_ratio'] = df['sepal length (cm)'] / df['sepal width (cm)']
# 查看添加新特征后的数据前几行
print("添加新特征后的数据:")
print(df[['sepal length (cm)', 'sepal width (cm)', 'sepal_area', 'sepal_ratio', 'species']].head())
```
**最后，数据标准化。** 许多机器学习算法（如K近邻、支持向量机、神经网络）对特征的尺度很敏感。如果特征A的取值范围是0-10，特征B是1000-10000，那么特征B可能会主导模型的学习过程。标准化可以将所有特征转换到相近的尺度。
```python
from sklearn.preprocessing import StandardScaler
# 选择需要标准化的数值特征（排除目标列‘species’）
features_to_scale = [col for col in df.columns if col not in ['species']]
# 初始化标准化器
scaler = StandardScaler()
# 拟合（计算均值和标准差）并转换数据
df_scaled = pd.DataFrame(scaler.fit_transform(df[features_to_scale]), columns=features_to_scale)
# 将标准化后的特征与目标列重新合并
df_scaled['species'] = df['species'].reset_index(drop=True)
print("标准化后的数据统计摘要（均值为0，标准差为1）:")
print(df_scaled[features_to_scale[:4]].describe().round(2))
```
现在，我们的数据已经清洗完毕，并准备好了新的特征。接下来，让我们用可视化来更深入地探索数据。
## 3. 多维数据可视化探索
图表比数字更能揭示数据的模式和关系。我们将使用多种可视化技术，从不同角度观察Iris数据集。
**散点图矩阵（Pair Plot）**：这是探索多个特征两两之间关系以及按类别着色的绝佳工具。Seaborn库的`pairplot`函数可以一键生成。
```python
# 使用原始数据（非标准化）绘制散点图矩阵，按物种着色
sns.pairplot(df, hue='species', palette='husl', markers=["o", "s", "D"])
plt.suptitle('鸢尾花数据集特征散点图矩阵', y=1.02)
plt.show()
```
观察这张图，你能立刻发现一些关键信息：例如，花瓣长度和花瓣宽度（左下角或右上角的散点图）呈现明显的线性关系，并且不同种类的点形成了清晰的簇。山鸢尾（setosa）在花瓣尺寸上与其他两种花完全分离。而花萼的尺寸区分度则没那么高。
**箱线图（Box Plot）**：用于查看每个特征在不同类别下的分布情况，包括中位数、四分位距和潜在的异常值。
```python
# 将数据从“宽格式”转换为“长格式”，便于用seaborn绘制分面箱线图
df_melted = df.melt(id_vars='species', value_vars=iris.feature_names,
var_name='feature', value_name='measurement (cm)')
plt.figure(figsize=(12, 6))
sns.boxplot(x='feature', y='measurement (cm)', hue='species', data=df_melted, palette='Set2')
plt.title('不同鸢尾花物种在各特征上的分布（箱线图）')
plt.xticks(rotation=45)
plt.legend(title='Species')
plt.tight_layout()
plt.show()
```
箱线图清晰地展示了：setosa的花瓣尺寸（petal length/width）远小于其他两种；versicolor和virginica在花萼尺寸上重叠较多，但在花瓣尺寸上virginica整体更大。
**热力图（Heatmap）**：展示所有数值特征之间的相关系数。相关系数衡量的是两个变量线性相关的强度和方向，范围从-1到1。
```python
# 计算数值特征之间的相关系数矩阵
correlation_matrix = df[iris.feature_names].corr()
plt.figure(figsize=(8, 6))
# annot=True显示数值，cmap选择颜色映射，fmt控制数值格式
sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm', center=0, fmt='.2f', square=True)
plt.title('特征间相关系数热力图')
plt.tight_layout()
plt.show()
```
从热力图中可以看到，花瓣长度和花瓣宽度高度正相关（0.96），这意味着一个变大时，另一个也倾向于变大。花萼长度和花瓣长度也有较强的正相关（0.87）。而花萼宽度与其他特征的相关性较弱，甚至与花瓣宽度呈微弱的负相关。
**小提琴图（Violin Plot）**：结合了箱线图和核密度估计图，能更好地展示数据的分布形状。
```python
plt.figure(figsize=(10, 6))
sns.violinplot(x='species', y='petal length (cm)', data=df, palette='muted', inner='quartile')
plt.title('不同物种的花瓣长度分布（小提琴图）')
plt.ylabel('花瓣长度 (cm)')
plt.xlabel('物种')
plt.show()
```
小提琴图显示了versicolor和virginica的花瓣长度分布都是多峰的，这可能暗示了数据内部还有更细的子结构，或者单纯是样本量较小导致的波动。
通过这些可视化，我们不仅验证了数据质量，还对不同鸢尾花种类的区分特征有了直观认识。这为我们选择合适的特征来构建分类模型提供了重要依据。
## 4. 构建与评估分类模型
有了对数据的深入理解，现在我们可以尝试构建一个机器学习模型，让它自动根据花的四个测量值来预测其种类。我们将使用sklearn这个强大的工具箱，它让机器学习流程变得非常模块化和简单。
**第一步，准备数据。** 我们需要将数据分为特征（X）和目标变量（y），然后进一步划分为训练集和测试集。
```python
from sklearn.model_selection import train_test_split
# 定义特征和目标
# 这里我们使用原始特征加上我们创建的两个面积特征
selected_features = ['sepal length (cm)', 'sepal width (cm)',
'petal length (cm)', 'petal width (cm)',
'sepal_area', 'petal_area']
X = df[selected_features].values # 转换为numpy数组
y = df['species'].values
# 将数据分割为训练集（80%）和测试集（20%）
# random_state确保每次分割结果一致，stratify=y确保训练集和测试集中各类别比例与原数据一致
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)
print(f"训练集样本数: {X_train.shape[0]}")
print(f"测试集样本数: {X_test.shape[0]}")
```
**第二步，选择并训练模型。** 我们从一个简单直观的模型开始——K近邻（K-Nearest Neighbors, KNN）。它的思想很简单：对于一个新样本，看看它在特征空间里最近的K个邻居大多数属于哪一类，就把它归为哪一类。
```python
from sklearn.neighbors import KNeighborsClassifier
# 初始化KNN分类器，设置n_neighbors=5
knn_model = KNeighborsClassifier(n_neighbors=5)
# 在训练集上拟合（训练）模型
knn_model.fit(X_train, y_train)
print("KNN模型训练完成。")
```
**第三步，在测试集上评估模型性能。** 我们用训练好的模型对从未见过的测试集数据进行预测，然后将预测结果与真实标签对比。
```python
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix
# 对测试集进行预测
y_pred = knn_model.predict(X_test)
# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"模型在测试集上的准确率: {accuracy:.4f}")
# 打印更详细的分类报告
print("\n分类报告:")
print(classification_report(y_test, y_pred, target_names=iris.target_names))
# 绘制混淆矩阵
conf_matrix = confusion_matrix(y_test, y_pred)
plt.figure(figsize=(6,5))
sns.heatmap(conf_matrix, annot=True, fmt='d', cmap='Blues',
xticklabels=iris.target_names,
yticklabels=iris.target_names)
plt.ylabel('真实标签')
plt.xlabel('预测标签')
plt.title('混淆矩阵')
plt.show()
```
如果一切顺利，你应该能看到一个很高的准确率（通常在0.95以上）。分类报告提供了精确率（precision）、召回率（recall）和F1分数等更细致的指标。混淆矩阵则直观地显示了哪些类别容易被混淆。
**但是，只用一个模型和一组参数就下结论为时过早。** 我们需要思考：K值选5一定是最优的吗？有没有其他模型可能表现更好？为了更可靠地评估，我们可以进行两件事：1) 对KNN模型进行超参数调优；2) 尝试其他类型的模型。
```python
from sklearn.model_selection import GridSearchCV
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
# 1. 使用网格搜索为KNN寻找最佳K值
param_grid = {'n_neighbors': np.arange(1, 15)}
knn = KNeighborsClassifier()
knn_cv = GridSearchCV(knn, param_grid, cv=5) # 使用5折交叉验证
knn_cv.fit(X_train, y_train)
print(f"KNN最佳参数: {knn_cv.best_params_}")
print(f"KNN最佳交叉验证分数: {knn_cv.best_score_:.4f}")
# 2. 尝试决策树和随机森林
models = {
'决策树': DecisionTreeClassifier(random_state=42),
'随机森林': RandomForestClassifier(n_estimators=100, random_state=42),
'优化KNN': KNeighborsClassifier(n_neighbors=knn_cv.best_params_['n_neighbors'])
}
# 训练并评估每个模型
results = {}
for name, model in models.items():
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
acc = accuracy_score(y_test, y_pred)
results[name] = acc
print(f"{name} 测试集准确率: {acc:.4f}")
# 用表格对比结果
results_df = pd.DataFrame(list(results.items()), columns=['模型', '测试准确率'])
print("\n模型性能对比:")
print(results_df)
```
通过这个对比，你可能会发现随机森林或优化后的KNN表现最好。这引出了一个重要的数据分析思维：**没有“最好”的模型，只有“更适合”当前数据和任务的模型**。对于像Iris这样线性可分性很好的小数据集，简单模型往往就足够了。
## 5. 模型应用与结果解读
模型训练和评估的最终目的，是为了用它来解决实际问题。假设我们现在有一个植物园，新采集了几朵鸢尾花的测量数据，但还没来得及由植物学家鉴定种类。这时，我们的模型就可以派上用场了。
让我们模拟一批新数据，并用我们训练好的最佳模型（假设是随机森林）进行预测。
```python
# 假设我们新测量了10朵花的尺寸
new_flowers_data = {
'sepal length (cm)': [5.1, 6.3, 7.0, 4.9, 5.0, 6.5, 5.5, 5.2, 5.4, 6.7],
'sepal width (cm)': [3.5, 2.9, 3.2, 2.4, 3.3, 3.8, 2.3, 3.4, 3.9, 3.1],
'petal length (cm)': [1.4, 4.9, 5.5, 3.3, 1.5, 2.8, 4.0, 1.4, 1.3, 5.6],
'petal width (cm)': [0.2, 1.5, 2.1, 1.0, 0.3, 0.7, 1.3, 0.2, 0.4, 2.4]
}
new_df = pd.DataFrame(new_flowers_data)
# 记得！新数据需要经过和训练数据完全相同的预处理流程
# 1. 计算我们之前添加的特征
new_df['sepal_area'] = new_df['sepal length (cm)'] * new_df['sepal width (cm)']
new_df['petal_area'] = new_df['petal length (cm)'] * new_df['petal width (cm)']
# 2. 使用之前拟合好的scaler对新数据的原始特征进行标准化
# 注意：我们只对原始特征+新特征进行标准化，scaler对象记得要保存
new_features_scaled = scaler.transform(new_df[selected_features])
# 选择我们训练好的随机森林模型进行预测
best_model = RandomForestClassifier(n_estimators=100, random_state=42)
best_model.fit(X_train, y_train) # 这里重新拟合一下，实际应用中模型应该是已经训练好的对象
predictions = best_model.predict(new_features_scaled)
prediction_proba = best_model.predict_proba(new_features_scaled) # 获取预测概率
# 将预测结果添加到数据框中
new_df['predicted_species'] = predictions
new_df['prediction_confidence'] = np.max(prediction_proba, axis=1) # 取最大类别的概率作为置信度
print("新花朵的测量数据及预测结果:")
print(new_df[['sepal length (cm)', 'petal length (cm)', 'predicted_species', 'prediction_confidence']].round(3))
```
输出结果不仅给出了预测种类，还给出了模型做出该预测的“信心”有多高（概率）。这对于实际应用至关重要。例如，一个预测为“versicolor”但置信度只有0.51的样本，其可靠性远低于一个置信度为0.95的样本。对于低置信度的预测，我们可能需要标记出来，交由专家进行二次确认。
**更进一步，我们可以解读模型的预测依据。** 对于随机森林这类模型，我们可以查看特征重要性，了解模型在做决策时更看重哪些特征。
```python
# 获取特征重要性
feature_importance = best_model.feature_importances_
importance_df = pd.DataFrame({
'feature': selected_features,
'importance': feature_importance
}).sort_values('importance', ascending=False)
print("特征重要性排序:")
print(importance_df)
# 可视化特征重要性
plt.figure(figsize=(8,5))
sns.barplot(x='importance', y='feature', data=importance_df, palette='viridis')
plt.title('随机森林模型特征重要性')
plt.xlabel('重要性得分')
plt.tight_layout()
plt.show()
```
不出所料，花瓣相关的特征（尤其是花瓣长度和宽度）重要性最高，这与我们之前可视化观察到的结论一致——花瓣特征对区分鸢尾花种类贡献最大。这种解读增强了我们对模型的信任，也印证了我们的领域知识。
最后，记得将训练好的模型和预处理对象（如`scaler`）保存下来，以便将来直接加载使用，无需重新训练。
```python
import joblib
# 保存模型和标准化器
joblib.dump(best_model, 'iris_species_predictor.pkl')
joblib.dump(scaler, 'iris_scaler.pkl')
print("模型和预处理对象已保存。")
# 未来加载使用
# loaded_model = joblib.load('iris_species_predictor.pkl')
# loaded_scaler = joblib.load('iris_scaler.pkl')
```
走完这一整套流程，你不仅学会了如何用Pandas和sklearn处理一个具体的数据集，更重要的是掌握了一个标准的数据分析项目框架：从数据获取、探索、清洗、可视化，到建模、评估、调优，再到最终的应用与部署。这个框架可以迁移到无数其他数据集和问题上。Iris数据集就像一块敲门砖，门后的数据科学世界，正等着你用这些工具去探索和创造。
热门内容
最新推荐
