K-means 聚类算法是一种无监督学习方法，用于将数据集划分为 `k` 个簇，其目标是最小化每个数据点与其所属簇质心之间的平方距离之和，即惯性或簇内平方和标准： $$ \sum_{i=0}^{n}\min_{\mu_j \in C}(||x_j - \mu_i||^2) $$ 该算法通过迭代优化质心位置，直到满足收敛条件，如质心不再显著变化或达到最大迭代次数。 以下是一个基于 NumPy 实现的 K-means 聚类算法： ```python import numpy as np class KMeans: def __init__(self, k=3, max_iters=100, tol=1e-4): self.k = k self.max_iters = max_iters self.tol = tol self.centroids = None self.labels = None def fit(self, X): # 初始化质心：随机选择 k 个样本点作为初始质心 np.random.seed(42) self.centroids = X[np.random.choice(X.shape[0], self.k, replace=False)] for _ in range(self.max_iters): # 分配阶段：将每个样本分配给最近的质心 distances = np.sqrt(((X - self.centrons[:, np.newaxis])**2).sum(axis=2)) labels = np.argmin(distances, axis=0) # 更新阶段：计算每个簇的新质心（簇内样本的均值） new_centroids = np.array([X[labels == i].mean(axis=0) for i in range(self.k)]) # 检查收敛条件 if np.linalg.norm(new_centroids - self.centroids) < self.tol: break self.centroids = new_centroids self.labels = labels def predict(self, X): distances = np.sqrt(((X - self.centroids[:, np.newaxis])**2).sum(axis=2)) return np.argmin(distances, axis=0) ``` ### 使用示例 以下是如何使用上述 KMeans 类进行聚类的示例： ```python from sklearn.datasets import make_blobs import matplotlib.pyplot as plt # 生成模拟数据 X, y_true = make_blobs(n_samples=300, centers=3, cluster_std=0.60, random_state=0) # 初始化并拟合模型 kmeans = KMeans(k=3) kmeans.fit(X) labels = kmeans.labels centroids = kmeans.centroids # 可视化结果 plt.scatter(X[:, 0], X[:, 1], c=labels, s=50, cmap='viridis') plt.scatter(centroids[:, 0], centroids[:, 1], s=200, c='red', label='Centroids') plt.legend() plt.title('K-Means Clustering') plt.show() ``` ### 算法特性 - **收敛性**：K-means 算法保证收敛，但可能收敛到局部最优解[^1]。 - **初始化敏感性**：初始质心的选择会影响最终聚类结果。可以使用 K-means++ 方法改进初始化过程。 - **效率性**：在大数据集上表现良好，但需要预先指定簇数 `k`。 ### 改进与扩展 - **K-means++**：改进初始质心选择，减少对初始值的依赖。 - **Mini-batch K-means**：每次迭代使用数据子集更新质心，提升效率。 - **模糊 C-means（FCM）**：允许样本以一定隶属度属于多个簇，适用于数据边界模糊的场景[^3]。