以下是根据PDF文档内容提炼的示例代码，并在每个代码块上方添加了相应的注释： ### 第1章 初识机器学习 #### 1.1.4 回顾 ```python # 示例代码用于验证numpy的均值和方差计算 import numpy as np # 创建一个样本数组 x = np.array([1, 2, 3, 4, 5]) # 验证均值计算 assert np.mean(x) == np.sum(x) / 5 # 验证方差计算 assert np.std(x) == np.sqrt(np.mean((x - np.mean(x)) ** 2)) ``` #### 1.2 KNN —— 相似的邻居请投票 ##### 1.2.1 模型原理 ```python # 计算欧氏距离的示例代码 import numpy as np vec1 = np.array([1, 2, 3]) vec2 = np.array([4, 5, 6]) # 使用numpy内置函数计算欧氏距离 assert np.linalg.norm(vec1 - vec2) == np.sqrt(np.sum(np.square(vec1 - vec2))) ``` ##### 1.2.3 训练、模型 ```python # 加载鸢尾花数据集并进行初步数据检查 import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn import datasets # 加载sklearn自带的鸢尾花数据集 scikit_iris = datasets.load_iris() # 将数据转换为pandas的DataFrame格式以便于查看 iris = pd.DataFrame(data=np.column_stack([scikit_iris['data'], scikit_iris['target']]), columns=np.append(scikit_iris.feature_names, ['y'])) # 查看数据格式的前两行 print(iris.head(2)) # 检查数据是否有缺失值 print(iris.isnull().sum()) # 统计各类别的样本数量 print(iris.groupby('y').count()) ``` ##### 1.2.3 训练模型 ```python # 使用scikit-learn实现KNN分类器 from sklearn.neighbors import KNeighborsClassifier from sklearn.model_selection import train_test_split from sklearn import metrics # 分割训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(iris[scikit_iris.feature_names], iris['y'], random_state=4) # 初始化KNN分类器 knn = KNeighborsClassifier(n_neighbors=15) # 训练模型 knn.fit(X_train, y_train) # 在训练集和测试集上进行预测 y_pred_on_train = knn.predict(X_train) y_pred_on_test = knn.predict(X_test) # 输出训练集和测试集的准确率 print('Training Accuracy:', metrics.accuracy_score(y_train, y_pred_on_train)) print('Testing Accuracy:', metrics.accuracy_score(y_test, y_pred_on_test)) ``` #### 1.3 逻辑分类：线性分类模型 ##### 1.3.2 逻辑分类：预测 ```python # 定义sigmoid函数和softmax函数 def sigmoid(s): return 1 / (1 + np.exp(-s)) def softmax(s): return np.exp(s) / np.sum(np.exp(s), axis=0) # 示例：绘制softmax函数图形 import matplotlib.pyplot as plt import seaborn as sns sns.set_style("whitegrid") x = np.arange(-3.0, 6.0, 0.1) scores = np.vstack([x, np.ones_like(x), 0.2 * np.ones_like(x)]) plt.plot(x, softmax(scores).T, linewidth=2) plt.show() ``` ##### 1.3.4 逻辑分类：训练 ```python # 定义损失函数 def cross_entropy(y, p): return np.sum(y * np.log(p) + (1 - y) * np.log(1 - p), axis=1) def loss_func(X, w, b, y): s = np.dot(X, w) + b y_p = softmax(s) return -np.mean(cross_entropy(y, y_p)) # 梯度下降优化器 class GDOptimizer: @staticmethod def optimize(X, y, learning_rate=0.2, iterations=100): # 初始化随机参数 w = np.random.rand(X.shape[1]) b = np.random.rand() for _ in range(iterations): s = np.dot(X, w) + b y_p = softmax(s) # 更新参数 w -= learning_rate * np.mean((y_p - y) * X.T, axis=1) b -= learning_rate * np.mean(y_p - y) return w, b # 使用优化器训练模型 optimizer = GDOptimizer() trained_w, trained_b = optimizer.optimize(X_train.values, pd.get_dummies(y_train).values) ``` #### 1.4 实现 ```python # 使用AbuML库实现逻辑回归分类器并在鸢尾花数据集上进行交叉验证 from abupy import AbuML # 创建鸢尾花数据集实例 iris = AbuML.create_test_filter() # 使用逻辑回归分类器 iris.estimator.logistic_regression(multi_class='multinomial', solver='lbfgs') # 进行交叉验证并输出平均准确率 print('Cross-validation Accuracy Mean:', iris.cross_val_accuracy_score()) ``` 以上是从文档中提炼的示例代码及其注释，按照章节顺序排列。希望这对您有所帮助。如果有任何疑问或需要进一步的帮助，请随时告知。