### 基于正规方程法的线性回归 Python 实现 正规方程法是一种用于求解线性回归模型参数的方法，它通过解析方式找到使损失函数最小化的权重向量 \( \theta \)[^1]。以下是基于正规方程法实现线性回归的一个完整 Python 示例： #### 正规方程推导 正规方程的核心思想是通过对目标函数（均方误差）关于参数 \( \theta \) 的偏导数设置为零来获得最优解。最终得到的公式如下： \[ \theta = (X^T X)^{-1} X^T y \] 其中： - \( X \): 特征矩阵（需加入一列全为 1 的截距项） - \( y \): 目标变量向量 - \( \theta \): 参数向量 #### Python 实现代码 下面是一个完整的 Python 实现，利用 NumPy 来完成计算。 ```python import numpy as np def normal_equation(X, y): """ 使用正规方程方法解决线性回归问题 :param X: 输入特征数据，形状为 (num_of_samples, num_of_features) :param y: 输出标签数据，形状为 (num_of_samples, 1) :return: 计算得出的参数 theta，形状为 (num_of_features + 1, 1) """ # 添加偏置项（即常数项），对应于 θ₀ X_b = np.c_[np.ones((len(X), 1)), X] # 应用正规方程公式 theta_best = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y) return theta_best # 测试数据集 X = 2 * np.random.rand(100, 1) # 随机生成样本特征 y = 4 + 3 * X + np.random.randn(100, 1) # 构造带有噪声的目标值 # 调用正常方程方法并打印结果 theta_best = normal_equation(X, y) print("最佳拟合参数:", theta_best) # 进行预测 X_new = np.array([[0], [2]]) X_new_b = np.c_[np.ones((2, 1)), X_new] pred_y = X_new_b.dot(theta_best) print("预测值:\n", pred_y) ``` 上述代码实现了正规方程法，并测试了一个简单的线性关系 \( y = 4 + 3x + noise \)，验证了该算法的有效性[^2]。 --- ### 关键点解释 1. **特征扩展**: 在输入特征矩阵 \( X \) 中添加了一列表示偏置项的一列全为 1 的数组。 2. **逆运算稳定性**: 如果 \( X^T X \) 是奇异矩阵或者接近奇异，则可能无法直接求逆。此时可以考虑使用伪逆或其他数值稳定技术替代标准逆操作。 3. **适用场景**: 正规方程适用于小型到中型的数据集，因为它的时间复杂度较高 (\( O(n^3) \))，对于大规模数据集通常推荐梯度下降等迭代优化方法。 ---