### 梯度下降算法的 Python 实现 梯度下降是一种常用的优化方法，广泛应用于机器学习和深度学习领域。以下是基于引用内容以及专业知识构建的一个完整的梯度下降算法实现。 #### 单变量线性回归中的梯度下降 下面展示了一个简单的单变量线性回归模型的梯度下降实现： ```python import numpy as np def compute_cost(X, y, theta): m = len(y) predictions = X.dot(theta) cost = (1 / (2 * m)) * np.sum((predictions - y)**2) return cost def gradient_descent(X, y, theta, alpha, num_iters): m = len(y) J_history = [] for _ in range(num_iters): h = X.dot(theta) # Hypothesis function error = h - y # Error between hypothesis and actual value # Update rule based on partial derivatives of the cost function theta -= (alpha / m) * (X.T.dot(error)) # Save Cost J in every iteration J_history.append(compute_cost(X, y, theta)) return theta, J_history # Example usage np.random.seed(42) m = 100 X = 2 * np.random.rand(m, 1) y = 4 + 3 * X + np.random.randn(m, 1) theta_initial = np.zeros([2, 1]) X_b = np.c_[np.ones((len(X), 1)), X] learning_rate = 0.1 iterations = 1000 final_theta, costs = gradient_descent(X_b, y, theta_initial, learning_rate, iterations) print(f"Final Theta Values:\n{final_theta}") ``` 上述代码实现了批量梯度下降（Batch Gradient Descent），并计算了代价函数 \(J\) 的变化过程[^1]。 --- #### 随机梯度下降（Stochastic Gradient Descent） 随机梯度下降通过每次仅更新一个样本的方式减少计算量，适合大规模数据集的应用场景。 ```python def stochastic_gradient_descent(X, y, theta, alpha, num_epochs): m = len(y) J_history = [] for epoch in range(num_epochs): indices = np.arange(m) np.random.shuffle(indices) X_shuffled = X[indices] y_shuffled = y[indices] for i in range(m): xi = X_shuffled[i:i+1].T yi = y_shuffled[i:i+1].T prediction = xi.T.dot(theta) error = prediction - yi # Update parameters theta -= (alpha) * (xi @ error) J_history.append(compute_cost(X, y, theta)) return theta, J_history # Example Usage num_epochs = 50 sgd_final_theta, sgd_costs = stochastic_gradient_descent( X_b, y, theta_initial, learning_rate, num_epochs ) print(f"SGD Final Theta Values:\n{sgd_final_theta}") ``` 此版本展示了如何利用随机化来加速收敛速度[^2]。 --- #### 投影梯度下降（Projected Gradient Descent, PGD） 投影梯度下降通常用于约束优化问题，例如对抗攻击中的边界限制。以下是一个简化版的 PGD 示例： ```python def projected_gradient_descent(x_init, epsilon, alpha, max_iter, grad_func, clip_func): x_adv = x_init.copy() for _ in range(max_iter): grad = grad_func(x_adv) # Compute gradient at current point x_adv += alpha * np.sign(grad) # Move towards steepest ascent direction x_adv = clip_func(x_adv, epsilon) # Ensure perturbation stays within bounds return x_adv # Example Clip Function def clip_x(x, epsilon): return np.clip(x, -epsilon, epsilon) # Example Gradient Function def dummy_grad(x): return 2 * x # Simple quadratic example pgd_result = projected_gradient_descent(np.array([0.5]), 0.1, 0.01, 100, dummy_grad, clip_x) print(f"PGD Result: {pgd_result}") ``` 该部分展示了如何结合梯度方向调整与裁剪操作完成受限条件下的最优化求解[^4]。 --- ### 总结 以上分别介绍了三种不同形式的梯度下降算法及其对应的 Python 实现方式。每种变体都有其特定适用范围，具体选择取决于实际应用场景的需求。