### Python 实现 Fisher 判别分析并进行数据投影 Fisher 判别分析的核心目标是通过寻找最优的投影方向，将高维数据映射到低维空间（通常是一维），从而最大化类间的分离度并最小化类内的散布。以下是完整的 Python 实现流程。 #### 数据生成 首先需要准备用于分类的数据集。这里假设有一个简单的二维数据集，分为两个类别： ```python import numpy as np import matplotlib.pyplot as plt # 类别1 和 类别2 的样本数据 np.random.seed(42) mean1, cov1 = [1, 2], [[1, 0.5], [0.5, 1]] data_class1 = np.random.multivariate_normal(mean1, cov1, 100) mean2, cov2 = [5, 6], [[1, -0.5], [-0.5, 1]] data_class2 = np.random.multivariate_normal(mean2, cov2, 100) # 合并数据和标签 X = np.vstack((data_class1, data_class2)) y = np.hstack((np.zeros(len(data_class1)), np.ones(len(data_class2)))) # 可视化原始数据分布 plt.scatter(data_class1[:, 0], data_class1[:, 1], label='Class 1', c='blue') plt.scatter(data_class2[:, 0], data_class2[:, 1], label='Class 2', c='red') plt.title('Original Data Distribution') plt.legend() plt.show() ``` --- #### 计算各类样本均值向量 分别计算两组数据的均值向量 \( \mu_1 \) 和 \( \mu_2 \)，它们表示每种类别的中心位置。 ```python mu1 = np.mean(data_class1, axis=0) mu2 = np.mean(data_class2, axis=0) print(f"Mean of Class 1: {mu1}[^1]") print(f"Mean of Class 2: {mu2}[^1]") ``` --- #### 计算类内离散度矩阵 \( S_w \) 类内离散度矩阵衡量的是同类样本围绕其均值的散布情况。对于两类问题，\( S_w \) 是由每个类别的协方差矩阵加权求和得到的。 ```python def compute_within_scatter_matrix(X, y): classes = np.unique(y) Sw = np.zeros((X.shape[1], X.shape[1])) for cls in classes: Xi = X[y == cls] mu_cls = np.mean(Xi, axis=0).reshape(-1, 1) scatter_mat = (Xi.T @ Xi) / len(Xi) - (mu_cls @ mu_cls.T) Sw += scatter_mat return Sw Sw = compute_within_scatter_matrix(X, y) print(f"Within-class Scatter Matrix:\n{Sw}[^1]") ``` --- #### 计算类间离散度矩阵 \( S_b \) 类间离散度矩阵反映了不同类别之间的差异程度。它是基于总体均值与各组均值之差构建的。 ```python overall_mean = np.mean(X, axis=0).reshape(-1, 1) Sb = (mu1.reshape(-1, 1) - overall_mean) @ ((mu1.reshape(-1, 1) - overall_mean).T) * len(data_class1) Sb += (mu2.reshape(-1, 1) - overall_mean) @ ((mu2.reshape(-1, 1) - overall_mean).T) * len(data_class2) print(f"Between-class Scatter Matrix:\n{Sb}[^1]") ``` --- #### 求解投影方向向量 \( W \) 为了找到最佳投影方向，需最大化广义瑞利商 \( J(w) = \frac{w^T S_b w}{w^T S_w w} \)。这可以通过求解特征值分解来完成。 ```python eigenvalues, eigenvectors = np.linalg.eig(np.linalg.inv(Sw) @ Sb) idx = eigenvalues.argsort()[::-1] # 排序特征值 eigenvalues = eigenvalues[idx] eigenvectors = eigenvectors[:, idx] W = eigenvectors[:, :1] # 提取最大特征值对应的特征向量作为投影方向 print(f"Projection Vector W:\n{W.flatten()}") ``` --- #### 将训练集所有样本投影到一维空间 利用投影向量 \( W \)，将每个样本点转换为一维坐标。 ```python projected_data = X.dot(W).flatten() # 绘制投影后的数据分布 plt.figure(figsize=(8, 4)) for cls in range(2): indices = np.where(y == cls)[0] plt.scatter(projected_data[indices], np.zeros_like(indices), label=f'Class {cls}', alpha=0.7) plt.title('Projected Data onto the Optimal Direction') plt.yticks([]) plt.legend() plt.show() ``` --- #### 总结 以上代码实现了 Fisher 判别分析的主要步骤，并成功将二维数据投影到一维空间中。最终的结果展示了如何通过优化投影方向实现更好的类别区分效果。 ---