### 使用 Python 和 SciPy 优化器实现逻辑回归分类 逻辑回归是一种广泛应用于机器学习中的线性分类方法。通过使用 `SciPy` 的优化工具包，我们可以高效地求解逻辑回归的参数估计问题。以下是基于 `scipy.optimize.minimize` 函数的一个完整示例。 #### 实现步骤说明 1. **定义 Sigmoid 函数**: 这是一个核心函数，用于将输入映射到 [0, 1] 范围内的概率值。 2. **构建损失函数**: 构造负对数似然作为目标函数，以便最小化该函数来找到最优参数。 3. **梯度计算**: 提供损失函数关于权重向量的导数表达式，加速收敛过程。 4. **调用优化器**: 利用 `scipy.optimize.minimize` 方法寻找使损失函数达到极小值的最佳参数。 下面是完整的代码实现： ```python import numpy as np from scipy.optimize import minimize def sigmoid(z): """ 计算给定数值 z 的 sigmoid 值. 参数: z (numpy array): 输入数据 返回: numpy array: sigmoid 输出 """ return 1 / (1 + np.exp(-z)) def compute_cost(theta, X, y): """ 计算逻辑回归的成本函数（即负对数似然）. 参数: theta (numpy array): 权重参数 X (numpy array): 特征矩阵 y (numpy array): 标签向量 返回: float: 成本值 """ m = len(y) h = sigmoid(X @ theta) # 预测值 epsilon = 1e-5 # 防止 log(0) 导致错误 cost = -(1/m) * (np.sum((y * np.log(h + epsilon)) + ((1-y)*np.log(1-h + epsilon)))) return cost def gradient_descent(theta, X, y): """ 计算成本函数相对于 θ 的梯度. 参数: theta (numpy array): 权重参数 X (numpy array): 特征矩阵 y (numpy array): 标签向量 返回: numpy array: 梯度向量 """ m = len(y) h = sigmoid(X @ theta) grad = (1/m) * (X.T @ (h - y)) return grad def logistic_regression(X, y, initial_theta=None): """ 执行逻辑回归训练并返回最佳拟合参数. 参数: X (numpy array): 数据特征矩阵 y (numpy array): 类别标签 initial_theta (numpy array or None): 初始化参数，默认为零向量 返回: OptimizeResult: 包含最终θ和其他信息的结果对象 """ if initial_theta is None: initial_theta = np.zeros(X.shape[1]) result = minimize( fun=compute_cost, x0=initial_theta, args=(X, y), method='BFGS', jac=gradient_descent ) return result.x # 示例运行 if __name__ == "__main__": from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 创建模拟数据集 X, y = make_classification(n_samples=100, n_features=2, random_state=42) # 归一化处理 scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # 添加偏置项列 ones_column = np.ones([X_scaled.shape[0], 1]) X_with_bias = np.hstack((ones_column, X_scaled)) # 将类别转换为 {0, 1} y_binary = (y >= 1).astype(int) # 获取初始参数 initial_parameters = np.zeros(X_with_bias.shape[1]) # 开始训练 optimal_theta = logistic_regression(X_with_bias, y_binary, initial_theta=initial_parameters) print(f"Optimal parameters found by optimization: {optimal_theta}") ``` 此代码实现了基本的逻辑回归模型，并利用了 `scipy.optimize.minimize` 中的 BFGS 方法来进行最优化操作[^1]。 --- #### 关键点解释 - **Sigmoid 函数** 是逻辑回归的核心部分，它负责将任意实数值压缩至 [0, 1] 范围内，从而表示事件发生的概率[^2]。 - **Cost Function** 定义为目标是最小化的负对数似然函数，这是极大似然估计的基础理论之一[^3]。 - **Gradient Calculation** 显著提升了优化效率，因为它提供了每一步迭代的方向指导。 ---