### 使用 `scipy.optimize` 进行参数优化 #### 参数优化简介 参数优化是指通过调整一组未知参数来使某个目标函数达到最优的过程。Python 的 SciPy 库提供了多种方法用于实现这一目的，其中核心模块为 `scipy.optimize`。该模块支持无约束和有约束的优化问题。 以下是使用 `scipy.optimize.minimize` 函数进行参数优化的一个具体实例： --- #### 示例：极大似然估计 (MLE) 假设我们有一个数据集，并希望拟合一个模型到这些数据上。可以构建一个负对数似然函数作为目标函数，然后利用 `scipy.optimize.minimize` 来找到最佳参数组合。 ##### 数学背景 对于给定的数据 $ \{y_i\} $ 和对应的输入特征 $ \{x_i\} $，假设有如下线性关系： $$ y = w_0 + w_1 x $$ 我们需要最大化其概率密度分布下的可能性（即最大似然）。通常我们会取负对数形式以便于计算梯度下降法的应用。 ##### Python 实现代码 下面是一个完整的例子展示如何完成上述任务: ```python import numpy as np from scipy.optimize import minimize # 假设真实参数值 w_true = np.array([2.5, -3]) # 构造模拟数据 np.random.seed(42) X = np.linspace(-10, 10, num=100).reshape((-1, 1)) epsilon = np.random.normal(size=X.shape[0]).reshape((-1, 1)) * 2 Y = X.dot(w_true.reshape((2, 1))) + epsilon.flatten() def neg_log_likelihood(params): """ 负对数似然函数 """ intercept, slope = params residuals = Y - (intercept + slope*X[:, 0]) loglik = -0.5 * sum(residuals**2 / sigma_sq) - N/2*np.log(sigma_sq*2*np.pi) return -loglik initial_guess = [1., 1.] # 初始猜测值 sigma_sq = 4 # 方差已知 N = len(Y) res = minimize(neg_log_likelihood, initial_guess, method='BFGS') print("Optimized parameters:", res.x) ``` 此段程序中定义了一个简单的线性回归问题并通过最小化负对数似然得到最终的结果。注意这里采用了 BFGS 方法来进行迭代更新直到满足停止条件为止[^2]。 --- #### 更多选项查看方式 如果想了解更多关于不同 solver 或者特定算法的具体配置项，则可以通过调用内置的帮助工具获取更多信息: ```python from scipy.optimize import show_options show_options(solver="minimize") # 如果指定具体的 algorithm 可进一步细化查询范围 show_options(solver="minimize", method="L-BFGS-B") ``` 这会打印出对应求解器的所有可用设置及其默认值说明等内容[^1]. --- #### 验证结果准确性 当执行完毕之后可以从返回的对象属性里提取有用的信息比如是否成功收敛(`success`)以及所花费的时间等等；另外还可以对比理论上的解析解验证数值近似的精度高低程度。 例如在线性规划案例中的检验部分展示了两种途径获得的目标函数极小值应当一致的情况[^4]: ```python if abs(c @ res.x - res.fun) < tol: print('Solution verified.') else: print('Warning: Solution mismatch detected!') ``` --- ###