### 手动实现梯度计算 在机器学习和数值计算中，梯度是一个关键概念，它描述了函数在某一点处的变化率。梯度的计算可以通过手动推导公式并使用数值方法或符号计算方法来实现。以下将介绍如何使用 Python 手动实现梯度计算。 #### 1. 梯度的定义 梯度是一个向量，表示多元函数在各个方向上的偏导数。例如，对于一个函数 $ f(x_1, x_2, \dots, x_n) $，其梯度可以表示为： $$ \nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, \dots, \frac{\partial f}{\partial x_n} \right) $$ #### 2. 数值梯度计算 数值梯度计算是一种通过有限差分法近似计算梯度的方法。具体来说，可以使用中心差分法来计算梯度： $$ \frac{\partial f}{\partial x_i} \approx \frac{f(x_1, \dots, x_i + h, \dots, x_n) - f(x_1, \dots, x_i - h, \dots, x_n)}{2h} $$ 其中 $ h $ 是一个很小的数，通常取 $ 10^{-5} $ 或更小。 ##### 示例代码 以下是一个使用 Python 实现数值梯度计算的示例： ```python import numpy as np def numerical_gradient(f, x, h=1e-5): grad = np.zeros_like(x) for i in range(x.size): temp = x[i] # 计算 f(x + h) x[i] = temp + h f_plus = f(x) # 计算 f(x - h) x[i] = temp - h f_minus = f(x) # 计算梯度 grad[i] = (f_plus - f_minus) / (2 * h) # 恢复 x[i] x[i] = temp return grad # 定义一个简单的函数 def example_function(x): return np.sum(x**2) # 测试梯度计算 x = np.array([1.0, 2.0, 3.0]) grad = numerical_gradient(example_function, x) print("Numerical Gradient:", grad) ``` #### 3. 符号梯度计算 符号梯度计算是通过数学公式直接计算梯度的方法。可以使用 `SymPy` 库来实现符号梯度计算。 ##### 示例代码 以下是一个使用 `SymPy` 实现符号梯度计算的示例： ```python import sympy as sp # 定义符号变量 x1, x2, x3 = sp.symbols('x1 x2 x3') # 定义函数 f = x1**2 + x2**2 + x3**2 # 计算梯度 gradient = sp.Matrix([f]).jacobian([x1, x2, x3]) # 打印梯度 print("Symbolic Gradient:", gradient) ``` #### 4. 应用场景 梯度计算广泛应用于机器学习中的优化算法，例如梯度下降法。在梯度下降法中，通过计算损失函数的梯度，并沿着梯度的反方向更新参数，以最小化损失函数。 ##### 梯度下降法示例 以下是一个使用梯度下降法优化线性回归模型的示例： ```python import numpy as np # 定义损失函数 def compute_loss(X, y, w): m = len(y) predictions = X.dot(w) loss = (1 / (2 * m)) * np.sum((predictions - y) ** 2) return loss # 定义梯度下降函数 def gradient_descent(X, y, learning_rate=0.01, num_iterations=1000): m, n = X.shape w = np.zeros(n) losses = [] for i in range(num_iterations): predictions = X.dot(w) errors = predictions - y gradient = (1 / m) * X.T.dot(errors) w -= learning_rate * gradient loss = compute_loss(X, y, w) losses.append(loss) return w, losses # 生成数据 np.random.seed(0) X = 2 * np.random.rand(100, 1) y = 4 + 3 * X.ravel() + np.random.randn(100) # 添加偏置项 X_b = np.c_[np.ones((100, 1)), X] # 运行梯度下降 w, losses = gradient_descent(X_b, y) print("Optimized Weights:", w) ``` ###