### 使用 Python 实现逻辑回归梯度下降的偏导数计算 逻辑回归是一种用于分类问题的经典方法，在训练过程中通常采用梯度下降法来优化损失函数 \( J(\mathbf{w}, b) \)[^4]。以下是基于 NumPy 的实现方式，展示如何通过梯度下降法更新权重 \( \mathbf{w} \) 和偏差 \( b \)。 #### 基本原理 在逻辑回归中，目标是最小化交叉熵损失函数 \( J(\mathbf{w}, b) \)，其中： \[ J(\mathbf{w}, b) = -\frac{1}{m} \sum_{i=1}^{m} \left[y^{(i)} \log(h_\theta(x^{(i)})) + (1-y^{(i)}) \log(1-h_\theta(x^{(i)}))\right], \] \( h_\theta(x) = \sigma(z), z = \mathbf{w}^\top x + b, \sigma(z) = \frac{1}{1+\exp(-z)}. \) 为了最小化该损失函数，可以通过梯度下降法迭代更新参数 \( \mathbf{w} \) 和 \( b \)： \[ \mathbf{w} := \mathbf{w} - \alpha \nabla_{\mathbf{w}} J, \quad b := b - \alpha \frac{\partial J}{\partial b}. \] 具体地，偏导数形式如下： \[ \nabla_{\mathbf{w}} J = \frac{1}{m} X^\top (\hat{y} - y), \quad \frac{\partial J}{\partial b} = \frac{1}{m} \sum_{i=1}^{m} (\hat{y}^{(i)} - y^{(i)}). \] --- #### 示例代码 以下是一个完整的 Python 实现： ```python import numpy as np def sigmoid(z): """Sigmoid 函数""" return 1 / (1 + np.exp(-z)) class LogisticRegression: def __init__(self, learning_rate=0.01, num_iterations=1000): self.learning_rate = learning_rate self.num_iterations = num_iterations self.weights = None self.bias = None def fit(self, X, y): """ 训练模型 :param X: 特征矩阵 (形状为 m×n) :param y: 标签向量 (形状为 m×1) """ m, n = X.shape # 初始化权重和偏差 self.weights = np.zeros(n) self.bias = 0 for _ in range(self.num_iterations): # 预测值 linear_model = np.dot(X, self.weights) + self.bias predictions = sigmoid(linear_model) # 计算梯度 dw = (1/m) * np.dot(X.T, (predictions - y)) db = (1/m) * np.sum(predictions - y) # 更新参数 self.weights -= self.learning_rate * dw self.bias -= self.learning_rate * db def predict(self, X): """ 进行预测 :param X: 测试特征矩阵 :return: 预测标签 """ linear_output = np.dot(X, self.weights) + self.bias predicted_probabilities = sigmoid(linear_output) return [1 if i >= 0.5 else 0 for i in predicted_probabilities] # 示例数据集 X_train = np.array([[1, 2], [2, 3], [3, 4], [4, 5]]) y_train = np.array([0, 0, 1, 1]) model = LogisticRegression() model.fit(X_train, y_train) print("Weights:", model.weights) print("Bias:", model.bias) ``` 上述代码实现了逻辑回归的核心部分——梯度下降法，并提供了 `fit` 方法用于训练以及 `predict` 方法用于测试。 --- #### 关键点解析 1. **sigmoid 函数** Sigmoid 是激活函数，负责将线性组合的结果映射到概率空间 \( [0, 1] \)。 2. **梯度计算** 权重和偏差的梯度分别由下式给出： \[ \nabla_{\mathbf{w}} J = \frac{1}{m} X^\top (\hat{y} - y), \quad \frac{\partial J}{\partial b} = \frac{1}{m} \sum_{i=1}^{m} (\hat{y}^{(i)} - y^{(i)}). \] 3. **参数更新** 参数更新遵循标准的梯度下降公式： \[ \mathbf{w} := \mathbf{w} - \alpha \nabla_{\mathbf{w}} J, \quad b := b - \alpha \frac{\partial J}{\partial b}. \][^4] ---