### KNN、贝叶斯、决策树和SVM算法的Python实现 以下是关于如何使用 Python 实现 KNN、朴素贝叶斯、决策树和支持向量机 (SVM) 的方法，并完成数据预处理、模型调参以及分类准确率计算的过程。 #### 数据预处理 在机器学习项目中，数据预处理是一个重要的环节。通常包括以下几个方面： 1. **加载数据集** 使用 `pandas` 或者 `sklearn.datasets` 加载数据集。 2. **特征标准化/归一化** 对于某些算法（如 SVM 和 KNN），特征缩放是非常必要的。可以使用 `StandardScaler` 进行标准差缩放或者 `MinMaxScaler` 进行最小最大值缩放[^1]。 ```python from sklearn.preprocessing import StandardScaler scaler = StandardScaler() X_scaled = scaler.fit_transform(X) ``` 3. **划分训练集与测试集** 利用 `train_test_split` 将数据划分为训练集和测试集。 ```python from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42) ``` --- #### KNN 算法实现 K近邻算法是一种基于实例的学习方法，通过比较样本之间的距离来预测类别标签。 ```python from sklearn.neighbors import KNeighborsClassifier knn_model = KNeighborsClassifier(n_neighbors=5, metric='euclidean') knn_model.fit(X_train, y_train) y_pred_knn = knn_model.predict(X_test) accuracy_knn = accuracy_score(y_test, y_pred_knn) print(f"KNN Accuracy: {accuracy_knn}") ``` --- #### 贝叶斯算法实现 朴素贝叶斯假设各个特征之间相互独立，适合高维稀疏数据场景。 ```python from sklearn.naive_bayes import GaussianNB nb_model = GaussianNB() nb_model.fit(X_train, y_train) y_pred_nb = nb_model.predict(X_test) accuracy_nb = accuracy_score(y_test, y_pred_nb) print(f"Gaussian Naive Bayes Accuracy: {accuracy_nb}") ``` 对于离散型数据，可以选择 `MultinomialNB` 或 `BernoulliNB` 替代连续分布下的 `GaussianNB`[^2]。 --- #### 决策树算法实现 决策树是一种直观且易于解释的监督学习方法，适用于分类和回归任务。 ```python from sklearn.tree import DecisionTreeClassifier dt_model = DecisionTreeClassifier(criterion="gini", max_depth=None, random_state=42) dt_model.fit(X_train, y_train) y_pred_dt = dt_model.predict(X_test) accuracy_dt = accuracy_score(y_test, y_pred_dt) print(f"Decision Tree Accuracy: {accuracy_dt}") ``` 可以通过调整参数（如 `max_depth`, `min_samples_split`）来进行超参数优化。 --- #### 支持向量机 (SVM) 实现 支持向量机利用核函数解决非线性问题，在小规模数据上表现优异。 ```python from sklearn.svm import SVC svm_model = SVC(C=1.0, kernel='rbf', gamma=0.01, decision_function_shape='ovr') svm_model.fit(X_train, y_train) y_pred_svm = svm_model.predict(X_test) accuracy_svm = accuracy_score(y_test, y_pred_svm) print(f"SVM Accuracy: {accuracy_svm}") ``` 其中，`C` 控制正则化强度，较大的 C 值会降低偏差但可能增加方差；`gamma` 定义 RBF 核的距离范围。 --- #### 模型调参 为了提升模型性能，可以采用网格搜索 (`GridSearchCV`) 来寻找最佳超参数组合。 ```python from sklearn.model_selection import GridSearchCV param_grid = { 'C': [0.1, 1, 10], 'kernel': ['linear', 'poly', 'rbf'], 'gamma': [0.01, 0.1, 1] } grid_search = GridSearchCV(SVC(), param_grid, cv=5, scoring='accuracy') grid_search.fit(X_train, y_train) best_params = grid_search.best_params_ best_accuracy = grid_search.best_score_ print(f"Best Parameters: {best_params}, Best Cross-Validation Accuracy: {best_accuracy}") ``` --- #### 分类准确率计算 最后一步是对不同模型的结果进行评估，常用的指标有准确率、召回率、F1分数等。 ```python from sklearn.metrics import classification_report, confusion_matrix, accuracy_score for model_name, predictions in zip(["KNN", "Naive Bayes", "Decision Tree", "SVM"], [y_pred_knn, y_pred_nb, y_pred_dt, y_pred_svm]): acc = accuracy_score(y_test, predictions) report = classification_report(y_test, predictions) cm = confusion_matrix(y_test, predictions) print(f"\n{model_name} Classification Report:\n{report}\nConfusion Matrix:\n{cm}\nAccuracy: {acc:.4f}") ``` ---