### 使用 NumPy 实现 KNN 分类算法 KNN（K-Nearest Neighbors）是一种基于距离度量的监督学习算法，既可以用于分类也可以用于回归。对于分类任务，KNN 的核心思想是找到测试样本的 k 个最近邻训练样本，并根据这 k 个邻居的标签投票得出最终预测结果。 以下是使用 NumPy 完整实现 KNN 分类算法的过程： #### 数据预处理 为了提高计算效率，在实际应用中通常会对数据进行标准化处理。这里假设输入的数据已经经过了必要的预处理操作。 #### 距离计算 欧氏距离是最常用的相似性度量方式之一，定义为两个向量之间的直线距离。给定两点 \(A(x_1, y_1)\) 和 \(B(x_2, y_2)\)，它们之间的欧氏距离可以表示为： \[ d(A,B)= \sqrt{(x_2-x_1)^2+(y_2-y_1)^2} \] 扩展到多维空间时，公式变为： \[ d(\vec{p},\vec{q})= \sqrt{\sum_{i=1}^{n}(p_i-q_i)^2} \] #### 投票机制 在得到前 k 个最接近的距离之后，可以通过简单多数投票或者加权投票的方式决定最终类别归属。 下面是完整的 Python/Numpy 实现代码: ```python import numpy as np class KNNClassifier: def __init__(self, k): self.k = k def fit(self, X_train, y_train): """ 训练函数 """ self.X_train = X_train self.y_train = y_train @staticmethod def euclidean_distance(point1, point2): """ 欧几里得距离计算 """ return np.sqrt(np.sum((point1 - point2)**2)) def predict(self, X_test): """ 预测函数 """ predictions = [] for test_point in X_test: distances = [] # 对于每一个测试点，计算它与所有训练集中的点的距离 for i, train_point in enumerate(self.X_train): distance = self.euclidean_distance(test_point, train_point) distances.append((distance, self.y_train[i])) # 将所有的距离按从小到大排序并取前k个最小值 sorted_distances = sorted(distances)[:self.k] # 统计各个类别的数量 class_counts = {} for dist, label in sorted_distances: if label not in class_counts: class_counts[label] = 0 class_counts[label] += 1 # 找出出现次数最多的类别作为预测结果 predicted_class = max(class_counts, key=lambda cls: class_counts[cls]) predictions.append(predicted_class) return np.array(predictions) # 测试部分 if __name__ == "__main__": from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split iris = load_iris() X, y = iris.data, iris.target X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) knn = KNNClassifier(k=3) knn.fit(X_train, y_train) preds = knn.predict(X_test) accuracy = np.mean(preds == y_test) print(f'Accuracy: {accuracy * 100:.2f}%') ``` 上述代码实现了自定义的 `KNNClassifier` 类[^1]，其中包含了初始化、拟合以及预测三个主要功能模块。特别注意的是，我们手动编写了一个静态方法用来完成两组数值间的欧式距离运算；另外整个流程均依赖基础库 Numpy 进行矩阵运算加速。