### 最小二乘法的矩阵解法及其实现 最小二乘法是一种常用的优化方法，用于解决线性回归问题。其目标是最小化误差平方和，即找到一个向量 \(\mathbf{x}\) 使得 \(\|\mathbf{A}\mathbf{x} - \mathbf{b}\|^2\) 最小[^1]。以下是具体的数学推导过程以及使用 NumPy 和 SciPy 的代码实现。 --- #### 数学推导 最小二乘问题的目标函数可以表示为： \[ E(\mathbf{x}) = \|\mathbf{A}\mathbf{x} - \mathbf{b}\|^2 = (\mathbf{A}\mathbf{x} - \mathbf{b})^T (\mathbf{A}\mathbf{x} - \mathbf{b}) \] 展开后得到： \[ E(\mathbf{x}) = \mathbf{x}^T \mathbf{A}^T \mathbf{A} \mathbf{x} - 2 \mathbf{b}^T \mathbf{A} \mathbf{x} + \mathbf{b}^T \mathbf{b} \] 为了使 \(E(\mathbf{x})\) 最小，对其求导并令结果为零： \[ \frac{\partial E}{\partial \mathbf{x}} = 2 \mathbf{A}^T \mathbf{A} \mathbf{x} - 2 \mathbf{A}^T \mathbf{b} = 0 \] 简化后得到正规方程： \[ \mathbf{A}^T \mathbf{A} \mathbf{x} = \mathbf{A}^T \mathbf{b} \] 如果 \(\mathbf{A}^T \mathbf{A}\) 是非奇异矩阵，则可以通过直接求逆解得： \[ \mathbf{x} = (\mathbf{A}^T \mathbf{A})^{-1} \mathbf{A}^T \mathbf{b} \] 此外，也可以通过 QR 分解或奇异值分解（SVD）来更稳定地求解最小二乘问题[^1]。 --- #### 使用 NumPy 实现 以下是基于正规方程的 NumPy 实现代码示例： ```python import numpy as np # 定义数据矩阵 A 和观测向量 b A = np.array([[1, 2], [3, 4], [5, 6]]) b = np.array([1, 2, 3]) # 计算最小二乘解 AT = A.T x = np.linalg.inv(AT @ A) @ AT @ b print("NumPy 解:", x) ``` --- #### 使用 SciPy 实现 SciPy 提供了专门的函数 `scipy.linalg.lstsq` 来求解最小二乘问题，避免手动计算矩阵逆，从而提高数值稳定性： ```python from scipy.linalg import lstsq # 定义数据矩阵 A 和观测向量 b A = np.array([[1, 2], [3, 4], [5, 6]]) b = np.array([1, 2, 3]) # 使用 SciPy 求解最小二乘问题 x, residuals, rank, s = lstsq(A, b) print("SciPy 解:", x) ``` --- #### 性能比较 - **NumPy**：适用于简单场景，但可能因矩阵逆的计算导致数值不稳定。 - **SciPy**：推荐用于实际应用，提供了更高的数值稳定性和额外的信息（如残差、秩等）。 ---