### 使用Numpy和Sklearn实现简单线性回归模型的代码含义 #### Numpy 实现线性回归 以下是基于 `Numpy` 的简单线性回归实现及其各部分代码的意义： ```python import numpy as np # 数据准备 X = np.array([1, 2, 3, 4, 5]).reshape(-1, 1) # 自变量 (n_samples, n_features) Y = np.array([2, 4, 6, 8, 10]) # 因变量 # 添加偏置项 X_b = np.c_[np.ones((len(X), 1)), X] # 增加一列全为1的向量用于表示截距 b[^5] # 正规方程求解权重 w 和 截距 b theta_best = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(Y) # 输出结果 print(f"最佳拟合参数: {theta_best}") # theta_best 包含 [b, w][^5] ``` 上述代码的核心在于正规方程的应用，即通过矩阵运算直接求得最优解 \( \theta_{\text{best}} \)，其形式如下： \[ \theta_{\text{best}} = (X^T X)^{-1} X^T Y \] - **数据准备**: 将自变量 reshape 成二维数组 `(n_samples, n_features)` 是因为大多数机器学习库期望输入的是二维结构。 - **添加偏置项**: 通过 `np.c_[]` 合并操作，在原始特征前增加了一列常数项（通常设为1），以便于后续计算截距项。 - **正规方程求解**: 利用 NumPy 提供的矩阵乘法 `.dot()` 及逆矩阵函数 `np.linalg.inv()` 来完成解析式的推导。 --- #### Sklearn 实现线性回归 下面是使用 `Scikit-Learn` 库来构建简单的线性回归模型的过程以及每一步的作用说明： ```python from sklearn.linear_model import LinearRegression from sklearn.preprocessing import MinMaxScaler import matplotlib.pyplot as plt # 数据准备 x_data = np.array([[1], [2], [3], [4], [5]]) # 输入特征 y_data = np.array([2, 4, 6, 8, 10]) # 目标值 # 归一化处理 scaler = MinMaxScaler() x_scaled = scaler.fit_transform(x_data) # 对特征进行归一化[^5] # 创建并训练模型 model = LinearRegression() # 初始化线性回归对象[^3] model.fit(x_scaled, y_data) # 调用 fit 方法训练模型 # 参数解读 print(f"系数(w): {model.coef_}, 截距(b): {model.intercept_}") # 预测新数据点 new_x = np.array([[8]]) scaled_new_x = scaler.transform(new_x.reshape(-1, 1)) predicted_y = model.predict(scaled_new_x) print(f"预测值(y_hat): {predicted_y}") # 绘制图像 plt.scatter(x_scaled, y_data, color='blue', label='真实值') # 散点图显示实际观测值 plt.plot(x_scaled, model.predict(x_scaled), color='red', label='拟合曲线') # 显示拟合直线 plt.legend() plt.show() ``` - **数据准备**: 定义了两个数组分别代表独立变量 (`x_data`) 和依赖变量 (`y_data`)。 - **归一化处理**: 使用 `MinMaxScaler` 类对输入特征进行了缩放变换，使得所有数值都映射到 `[0, 1]` 或者其他指定范围内[^5]。这有助于加速收敛速度尤其当不同维度间尺度差异较大时尤为重要。 - **创建并训练模型**: 构建了一个标准的线性回归实例并通过调用 `fit` 函数让算法自动寻找最合适的斜率(`coef_`)与截距(`intercept_`)[^3]。 - **参数解读**: 打印出来的 `coef_` 表示的就是回归直线的斜率而 `intercept_` 则对应纵轴上的交点位置。 - **预测新数据点**: 展示如何利用已有的模型对未来未知样本做出估计，并且再次强调需先经过相同的预处理流程再送入模型内部评估。 - **绘图展示**: 结果可视化帮助直观了解整个分布趋势及拟合效果的好坏程度。 --- ###