### Fisher线性判别分析的实现 Fisher线性判别分析是一种经典的监督学习方法，用于寻找能够最大化类间分离并最小化类内方差的方向。以下是基于 `numpy` 和 `scipy` 的 Python 实现代码示例： #### 数据准备 假设我们有两类数据 $X_1$ 和 $X_2$，每类数据是一个二维数组。 ```python import numpy as np # 假设的数据集 np.random.seed(42) mean1, cov1 = [1, 2], [[1, 0.5], [0.5, 1]] mean2, cov2 = [-1, -2], [[1, -0.5], [-0.5, 1]] class1 = np.random.multivariate_normal(mean1, cov1, 100) class2 = np.random.multivariate_normal(mean2, cov2, 100) # 合并数据 X = np.vstack((class1, class2)) y = np.hstack((np.zeros(len(class1)), np.ones(len(class2)))) ``` --- #### 计算均值向量 对于每一类数据，分别计算其样本均值 $\mu_i$。 ```python def compute_mean_vectors(X, y): classes = np.unique(y) mean_vectors = [] for c in classes: mean_vector = np.mean(X[y == c], axis=0) mean_vectors.append(mean_vector) return mean_vectors mean_vectors = compute_mean_vectors(X, y) print("Mean vectors:", mean_vectors) ``` --- #### 构建散度矩阵 构建类内散度矩阵 ($S_W$) 和类间散度矩阵 ($S_B$)，其中： - 类内散度矩阵表示同一类别内的分布情况； - 类间散度矩阵表示不同类别之间的差异。 ```python def compute_scatter_matrices(X, y, mean_vectors): classes = np.unique(y) S_W = np.zeros((X.shape[1], X.shape[1])) S_B = np.zeros((X.shape[1], X.shape[1])) overall_mean = np.mean(X, axis=0).reshape(-1, 1) for idx, c in enumerate(classes): Xi = X[y == c] Ni = Xi.shape[0] mu_c = mean_vectors[idx].reshape(-1, 1) # 类内散度矩阵 Sw_term = (Xi.T - mu_c).dot((Xi.T - mu_c).T) S_W += Sw_term # 类间散度矩阵 Sb_term = Ni * (mu_c - overall_mean).dot((mu_c - overall_mean).T) S_B += Sb_term return S_W, S_B S_W, S_B = compute_scatter_matrices(X, y, mean_vectors) ``` --- #### 特征值分解与投影方向 通过求解广义特征值问题 $S_W^{-1}S_Bw=\lambda w$ 来找到最优投影方向 $w$。 ```python eigenvalues, eigenvectors = np.linalg.eig(np.linalg.inv(S_W).dot(S_B)) # 排序特征值及其对应的特征向量 sorted_indices = np.argsort(eigenvalues)[::-1] W = eigenvectors[:, sorted_indices[:1]] # 取最大特征值对应的方向 print("Projection vector W:\n", W) ``` --- #### 投影到一维空间 利用得到的投影方向 $w$ 将原始数据映射到一维空间。 ```python projected_X = X.dot(W) print("Projected data shape:", projected_X.shape) ``` --- #### 使用 `sklearn` 验证结果 为了验证自定义实现的正确性，可以使用 `sklearn.discriminant_analysis.LinearDiscriminantAnalysis` 进行对比。 ```python from sklearn.discriminant_analysis import LinearDiscriminantAnalysis lda = LinearDiscriminantAnalysis(n_components=1) lda.fit(X, y) transformed_data_sklearn = lda.transform(X) print("Transformed data using sklearn LDA shape:", transformed_data_sklearn.shape) ``` --- ### 总结 以上实现了 Fisher 判别分析的核心过程，并展示了如何将高维数据投影到一维空间。最终的结果可以通过 `sklearn` 提供的功能进一步验证一致性[^1]。