### 基于 `dataming.csv` 数据集的聚类任务建模 我们将使用两种不同的聚类方法对 `dataming.csv` 数据集进行聚类分析。聚类是一种无监督学习方法，旨在将数据点分组到不同的簇中，使得同一簇内的数据点尽可能相似，而不同簇之间的数据点尽可能不同。 #### 方法一：K均值聚类 (K-Means Clustering) K均值聚类是一种常用的聚类算法，通过将数据点分配到 K 个簇中，使簇内平方误差之和最小。 #### 方法二：层次聚类 (Hierarchical Clustering) 层次聚类是一种基于距离的方法，通过不断合并或分裂簇来构建聚类层次结构。我们可以选择凝聚层次聚类（自底向上）或分裂层次聚类（自顶向下）。 ### 完整Python代码实现 以下是具体的Python代码实现，展示了如何使用这两种方法对 `dataming.csv` 数据集进行聚类分析： ```python import pandas as pd import numpy as np from sklearn.preprocessing import StandardScaler from sklearn.cluster import KMeans, AgglomerativeClustering from sklearn.metrics import silhouette_score import matplotlib.pyplot as plt import seaborn as sns from scipy.cluster.hierarchy import dendrogram, linkage # 加载数据 dataming = pd.read_csv('dataming.csv') # 数据预处理 # 删除缺失值 data = dataming.dropna() # 对'Month'和'VisitorType'进行独热编码 one_hot_encoder = OneHotEncoder(sparse=False) # 对'Month'进行独热编码 month_df = pd.DataFrame(data['Month']) month_encoded = one_hot_encoder.fit_transform(month_df) month_columns = one_hot_encoder.get_feature_names_out(['Month']) # 对'VisitorType'进行独热编码 visitor_type_df = pd.DataFrame(data['VisitorType']) visitor_type_encoded = one_hot_encoder.fit_transform(visitor_type_df) visitor_type_columns = one_hot_encoder.get_feature_names_out(['VisitorType']) # 创建新的DataFrame，包含原始数据和编码后的'Month'和'VisitorType' encoded_data = pd.concat([data.drop(columns=['Month', 'VisitorType']), pd.DataFrame(month_encoded, columns=month_columns), pd.DataFrame(visitor_type_encoded, columns=visitor_type_columns)], axis=1) # 标准化数据 scaler = StandardScaler() X_scaled = scaler.fit_transform(encoded_data) # 方法一：K均值聚类 def kmeans_clustering(X_scaled, n_clusters): kmeans = KMeans(n_clusters=n_clusters, random_state=42) clusters_kmeans = kmeans.fit_predict(X_scaled) silhouette_avg = silhouette_score(X_scaled, clusters_kmeans) print(f'K均值聚类（簇数={n_clusters}）的轮廓系数: {silhouette_avg:.4f}') return clusters_kmeans # 测试不同簇数的K均值聚类 for k in range(2, 11): clusters_kmeans = kmeans_clustering(X_scaled, k) # 选择最佳簇数（假设选择3个簇） best_n_clusters = 3 clusters_kmeans = kmeans_clustering(X_scaled, best_n_clusters) # 可视化K均值聚类结果 encoded_data['Cluster_KMeans'] = clusters_kmeans sns.pairplot(encoded_data.sample(1000), hue='Cluster_KMeans', vars=encoded_data.columns[:5], diag_kind='kde') plt.show() # 方法二：层次聚类 def hierarchical_clustering(X_scaled, n_clusters): agg_clustering = AgglomerativeClustering(n_clusters=n_clusters) clusters_agg = agg_clustering.fit_predict(X_scaled) silhouette_avg = silhouette_score(X_scaled, clusters_agg) print(f'层次聚类（簇数={n_clusters}）的轮廓系数: {silhouette_avg:.4f}') return clusters_agg # 选择最佳簇数（假设选择3个簇） best_n_clusters = 3 clusters_agg = hierarchical_clustering(X_scaled, best_n_clusters) # 可视化层次聚类结果 encoded_data['Cluster_Agg'] = clusters_agg sns.pairplot(encoded_data.sample(1000), hue='Cluster_Agg', vars=encoded_data.columns[:5], diag_kind='kde') plt.show() # 层次聚类的树状图 linked = linkage(X_scaled, method='ward') plt.figure(figsize=(10, 7)) dendrogram(linked, orientation='top', distance_sort='descending', show_leaf_counts=True) plt.title('层次聚类树状图') plt.show() ``` ### 解释 1. **加载数据**：读取 `dataming.csv` 文件。 2. **数据预处理**： - 删除缺失值。 - 对 `Month` 和 `VisitorType` 进行独热编码，确保聚类算法可以处理这些分类变量。 3. **标准化数据**：对特征数据进行标准化处理，以确保不同特征之间的量纲一致。 4. **K均值聚类**： - 使用 `KMeans` 进行聚类，通过轮廓系数评估不同簇数的效果。 - 选择最佳簇数（假设选择3个簇），并可视化聚类结果。 5. **层次聚类**： - 使用 `AgglomerativeClustering` 进行层次聚类，通过轮廓系数评估不同簇数的效果。 - 选择最佳簇数（假设选择3个簇），并可视化聚类结果。 - 绘制层次聚类的树状图，展示簇的合并过程。 ### 知识点 1. **K均值聚类**：一种常用的聚类算法，通过将数据点分配到 K 个簇中，使簇内平方误差之和最小。 - 轮廓系数用于评估聚类效果，范围为 [-1, 1]，值越大越好。 2. **层次聚类**：一种基于距离的方法，通过不断合并或分裂簇来构建聚类层次结构。 - 层次聚类的树状图（Dendrogram）用于展示簇的合并或分裂过程。 ### 注意事项 - **路径**：确保 `dataming.csv` 文件路径正确。 - **参数调优**：可以根据实际需求调整模型的超参数（如 `n_clusters`），以获得更好的聚类效果。 - **特征选择**：在实际应用中，可以根据特征的重要性进一步选择或去除某些特征。 - **可视化**：为了更好地理解聚类结果，可以尝试使用更多的可视化工具（如 t-SNE 或 PCA 降维）。 通过上述代码，我们实现了对 `dataming.csv` 数据集的聚类分析，并使用了两种不同的聚类方法。