在使用最小二乘法进行多元线性回归时，目标是通过拟合一个线性模型来预测目标变量 $ Y1 $，其形式为 $ Y1 = a_1X_1 + a_2X_2 + a_3X_3 + b $，其中 $ a_1, a_2, a_3 $ 是特征 $ X_1, X_2, X_3 $ 的系数，$ b $ 是截距。以下是实现该模型的步骤和代码示例。 ### 模型构建与实现 多元线性回归的核心在于通过最小化观测值与预测值之间的残差平方和来估计模型参数。普通最小二乘法（OLS）是其中最常用的方法之一，其目标是最小化 $ \sum (Y_{\text{real}} - Y_{\text{predict}})^2 $ [^4]。 #### 使用 `scikit-learn` 实现 可以通过 `scikit-learn` 库中的 `LinearRegression` 模型快速实现多元线性回归，以下是具体实现步骤： ```python import numpy as np import pandas as pd from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error, r2_score # 示例数据 data = pd.DataFrame({ 'X1': [1, 2, 3, 4, 5], 'X2': [5, 4, 3, 2, 1], 'X3': [2, 3, 4, 5, 6], 'Y1': [10, 12, 14, 16, 18] }) # 特征与目标变量 X = data[['X1', 'X2', 'X3']] y = data['Y1'] # 创建线性回归模型 lr_model = LinearRegression() # 训练模型 lr_model.fit(X, y) # 预测目标变量 y_predict = lr_model.predict(X) # 输出模型参数 a1, a2, a3 = lr_model.coef_ b = lr_model.intercept_ print(f"模型参数: a1={a1}, a2={a2}, a3={a3}, b={b}") # 模型评估 MSE = mean_squared_error(y, y_predict) R2 = r2_score(y, y_predict) print(f"均方误差: {MSE}, 可决系数 R^2: {R2}") # 预测新数据 new_data = np.array([[8.09711, 1.20171, 1.00671]]) y_p = lr_model.predict(new_data) print(f"预测值: {y_p}") ``` ### 模型评估 为了评估模型的性能，通常使用均方误差（MSE）和可决系数（$ R^2 $）作为指标。均方误差越小，模型的预测能力越强；可决系数越接近1，模型的拟合优度越好 [^3]。 #### 可决系数的计算公式 可决系数 $ R^2 $ 的计算公式为： $$ R^2 = \frac{\sum (Y_{\text{predict}} - \bar{Y}_{\text{real}})^2}{\sum (Y_{\text{real}} - \bar{Y}_{\text{real}})^2} $$ 其中 $ \bar{Y}_{\text{real}} $ 是目标变量的均值 [^3]。 ### 模型优化与扩展 如果特征数据的尺度差异较大，可以考虑对特征进行标准化处理以提高模型的收敛速度和预测精度。此外，对于存在多重共线性的数据集，可以采用岭回归（Ridge Regression）或拉索回归（Lasso Regression）等正则化方法来优化模型。 ### 示例预测 在示例中，当输入特征 $ X_1=8.09711 $、$ X_2=1.20171 $、$ X_3=1.00671 $ 时，模型预测的目标值为 $ Y1=22.568 $，而实际值为 $ Y1=24.93101 $，表明模型存在一定的预测误差 [^2]。 ---