好的！下面是一个关于如何编程实现朴素贝叶斯分类器，并将其应用于Iris（鸢尾花）数据集分类的详细介绍： --- ### 朴素贝叶斯分类器简介 **朴素贝叶斯分类器**是一种基于概率统计理论的简单有效的机器学习算法。它假设特征之间相互独立（条件独立性），并利用贝叶斯定理计算每个类别下的后验概率，选取最大值作为预测结果。 公式表示为： \[ P(C|X) = \frac{P(X|C) \cdot P(C)}{P(X)} \] 其中 \( C \) 表示类别，\( X \) 表示样本特征向量。 对于给定的数据点 \( x \)，我们选择使得后验概率最大的类别 \( C_k \): \[ C_{predicted} = \underset{k}{\text{argmax}} \; P(C_k | x) \] 通过训练数据估计先验概率 \( P(C) \) 和条件概率密度函数 \( P(x_i | C) \)，可以完成模型构建。 --- ### 实现步骤 #### 步骤1: 导入必要的库 ```python import numpy as np from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from scipy.stats import norm ``` #### 步骤2: 加载 Iris 数据集 使用 `sklearn` 提供的 `load_iris()` 函数加载数据。 ```python # 加载数据集 data = load_iris() X = data.data # 特征矩阵 (4列：萼片长度、宽度；花瓣长度、宽度) y = data.target # 标签 (0, 1, 2) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) ``` #### 步骤3: 构建朴素贝叶斯分类器 根据每种类别分别计算均值和标准差，用于后续高斯分布的概率估算。 ```python class NaiveBayes: def fit(self, X, y): self.classes = np.unique(y) # 获取所有类别标签 [0, 1, 2] n_classes = len(self.classes) # 类别数 # 初始化存储各个类别的统计数据 self.mean = {} # 每个类别的平均值 {label -> mean vector} self.std = {} # 每个类别的标准差 {label -> std vector} for c in self.classes: X_c = X[y == c] # 当前类别的数据子集 # 计算当前类别下各特征的均值和标准差 self.mean[c] = np.mean(X_c, axis=0) self.std[c] = np.std(X_c, axis=0) def predict(self, X): predictions = [] for sample in X: probs = [] # 存储样本属于各类别的概率 for c in self.classes: prior = np.log(1 / len(self.classes)) # 假设等可能性先验 class_conditional_prob = sum( np.log(norm.pdf(sample[i], loc=self.mean[c][i], scale=self.std[c][i])) for i in range(len(sample)) ) posterior_log = prior + class_conditional_prob # 对数值取对数避免溢出问题 probs.append(posterior_log) predicted_class = self.classes[np.argmax(probs)] # 最大概率对应的类别 predictions.append(predicted_class) return predictions ``` #### 步骤4: 测试模型性能 将上述分类器应用到分割后的训练集和测试集中。 ```python model = NaiveBayes() # 使用训练集拟合模型 model.fit(X_train, y_train) # 进行预测 predictions = model.predict(X_test) # 计算准确率 accuracy = np.sum(predictions == y_test) / len(y_test) print(f"Accuracy: {accuracy * 100:.2f}%") ``` --- ### 结果分析 运行以上代码即可得到一个简单的朴素贝叶斯分类器的结果。理论上该模型应该达到较高的分类精度，因为 Iris 数据集本身较为简单且线性可分性强。 如果需要进一步提升效果，还可以考虑以下优化措施： 1. **正则化处理**: 如果某些特征的标准差接近零，则可能导致除法错误或无穷大值，因此添加一个小常数来平滑方差； 2. **其他核函数替代**: 高斯分布适用于连续型变量，在离散场景下可以选择多项式分布或其他形式。 --- ###