### LDA算法的实现 线性判别分析（Linear Discriminant Analysis, LDA）是一种经典的监督学习方法，用于降维和分类。它通过最大化类间方差与最小化类内方差来寻找最佳投影方向。以下是基于Numpy库实现LDA的核心步骤。 #### 数据预处理 在开始之前，需加载ORL人脸数据集并对其进行标准化处理。假设已将图像转换为向量形式，并按类别分组存储于`X_train`和`y_train`中： ```python import numpy as np def load_orl_data(): # 假设 ORL 数据已经加载成如下格式： # X 是 (n_samples, n_features)，y 是对应的标签数组 pass # 实现具体的数据读取逻辑 X_train, y_train = load_orl_data() classes = np.unique(y_train) # 对每张图片进行归一化操作 mean_image = np.mean(X_train, axis=0) std_image = np.std(X_train, axis=0) + 1e-8 # 防止除零错误 X_normalized = (X_train - mean_image) / std_image ``` #### 计算散度矩阵 计算类内散布矩阵 \( S_W \) 和类间散布矩阵 \( S_B \): \[ S_W = \sum_{i=1}^{C} \sum_{x_j \in C_i} (x_j - m_i)(x_j - m_i)^T \] \[ S_B = \sum_{i=1}^{C} N_i(m_i - m_T)(m_i - m_T)^T \] 其中，\( C \) 表示类别数，\( m_i \) 表示第 \( i \) 类别的均值向量，\( m_T \) 表示全局均值向量，\( N_i \) 表示第 \( i \) 类样本数量[^2]。 ```python def compute_scatter_matrices(X, y): classes = np.unique(y) global_mean = np.mean(X, axis=0) Sw = np.zeros((X.shape[1], X.shape[1])) Sb = np.zeros((X.shape[1], X.shape[1])) for cls in classes: Xi = X[y == cls] class_mean = np.mean(Xi, axis=0) # Class scatter matrix within-class Sw += np.dot((Xi - class_mean).T, (Xi - class_mean)) # Between-class scatter matrix Ni = Xi.shape[0] diff = class_mean - global_mean Sb += Ni * np.outer(diff, diff.T) return Sw, Sb ``` #### 特征提取 求解广义特征值问题 \( S_W^{-1} S_B w = \lambda w \)，选取前 \( k \) 大特征值对应的方向作为新的子空间基底。 ```python Sw, Sb = compute_scatter_matrices(X_normalized, y_train) # 求逆矩阵 Sw_inv = np.linalg.inv(Sw) # 广义特征值分解 eigenvalues, eigenvectors = np.linalg.eig(np.dot(Sw_inv, Sb)) # 排序特征值及其对应的特征向量 sorted_indices = np.argsort(eigenvalues)[::-1] top_k_eigenvectors = eigenvectors[:, sorted_indices[:k]] ``` #### 投影与分类 利用得到的特征向量对原始数据进行投影，并训练简单的最近邻分类器完成预测任务。 ```python def project_and_classify(X_test, top_k_eigenvectors, X_train_projected, y_train): X_test_projected = np.dot(X_test, top_k_eigenvectors.real) predictions = [] for test_sample in X_test_projected: distances = np.linalg.norm(X_train_projected - test_sample, axis=1) nearest_idx = np.argmin(distances) predictions.append(y_train[nearest_idx]) return np.array(predictions) ``` --- ### 总结 以上实现了不依赖 `scikit-learn` 的纯 NumPy 版本 LDA 方法，适用于 ORL 人脸数据集的降维与分类任务。此过程涵盖了数据预处理、散度矩阵构建、特征值分解以及最终的投影映射阶段[^3]。