你提供的图片是 **Adam（Adaptive Moment Estimation）** 优化算法的讲解幻灯片，属于深度学习中常用的梯度下降优化器。下面我将为你完整实现 Adam 算法，并附上详细注释和示例代码。 --- ## ✅ Adam 算法核心思想回顾： 1. 维护两个移动平均： - `m_t`：一阶矩（动量），类似 SGD with Momentum - `v_t`：二阶矩（未中心化的方差），类似 RMSProp 2. 对 `m_t` 和 `v_t` 做偏差校正（因为初始为0，早期估计偏小） 3. 更新参数时使用校正后的值： ``` θ_{t+1} = θ_t - η * m̂_t / (√v̂_t + ε) ``` 4. 默认超参数： - β₁ = 0.9 - β₂ = 0.999 - ε = 1e-8 --- ## 🐍 Python 实现 Adam 优化器（从零开始） ```python import numpy as np class AdamOptimizer: def __init__(self, learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-8): self.lr = learning_rate self.beta1 = beta1 self.beta2 = beta2 self.epsilon = epsilon self.m = None # 一阶矩 self.v = None # 二阶矩 self.t = 0 # 时间步 def update(self, params, grads): """ params: 参数字典或列表，如 {'w': w, 'b': b} 或 [w, b] grads: 对应梯度，结构同 params 返回：更新后的 params """ if self.m is None: # 初始化 m 和 v 为零，形状与 params 相同 if isinstance(params, dict): self.m = {k: np.zeros_like(v) for k, v in params.items()} self.v = {k: np.zeros_like(v) for k, v in params.items()} else: self.m = [np.zeros_like(p) for p in params] self.v = [np.zeros_like(p) for p in params] self.t += 1 if isinstance(params, dict): updated_params = {} for key in params.keys(): g = grads[key] # 更新一阶矩和二阶矩 self.m[key] = self.beta1 * self.m[key] + (1 - self.beta1) * g self.v[key] = self.beta2 * self.v[key] + (1 - self.beta2) * (g ** 2) # 偏差校正 m_hat = self.m[key] / (1 - self.beta1 ** self.t) v_hat = self.v[key] / (1 - self.beta2 ** self.t) # 参数更新 updated_params[key] = params[key] - self.lr * m_hat / (np.sqrt(v_hat) + self.epsilon) return updated_params else: updated_params = [] for i in range(len(params)): g = grads[i] # 更新一阶矩和二阶矩 self.m[i] = self.beta1 * self.m[i] + (1 - self.beta1) * g self.v[i] = self.beta2 * self.v[i] + (1 - self.beta2) * (g ** 2) # 偏差校正 m_hat = self.m[i] / (1 - self.beta1 ** self.t) v_hat = self.v[i] / (1 - self.beta2 ** self.t) # 参数更新 updated_params.append(params[i] - self.lr * m_hat / (np.sqrt(v_hat) + self.epsilon)) return updated_params ``` --- ## 🧪 使用示例：训练一个简单的线性回归模型 ```python # 生成 synthetic data np.random.seed(42) X = np.linspace(0, 10, 100) y_true = 2 * X + 3 + np.random.randn(100) * 0.5 # y = 2x + 3 + noise # 初始化参数 w = np.random.randn() b = np.random.randn() # 定义损失函数和梯度 def mse_loss(y_pred, y_true): return np.mean((y_pred - y_true) ** 2) def compute_gradients(X, y, w, b): y_pred = w * X + b dw = np.mean(2 * (y_pred - y) * X) db = np.mean(2 * (y_pred - y)) return {'w': dw, 'b': db} # 创建优化器 optimizer = AdamOptimizer(learning_rate=0.01) # 训练循环 for epoch in range(1000): grads = compute_gradients(X, y_true, w, b) params = {'w': w, 'b': b} updated_params = optimizer.update(params, grads) w, b = updated_params['w'], updated_params['b'] if epoch % 100 == 0: loss = mse_loss(w * X + b, y_true) print(f"Epoch {epoch}, Loss: {loss:.4f}, w: {w:.4f}, b: {b:.4f}") print(f"\nFinal: w ≈ {w:.4f}, b ≈ {b:.4f}") ``` --- ## 🔁 可选：集成到 PyTorch / TensorFlow？ 如果你使用的是框架，可以直接调用内置 Adam： ### PyTorch: ```python import torch.optim as optim optimizer = optim.Adam(model.parameters(), lr=0.001, betas=(0.9, 0.999), eps=1e-8) ``` ### TensorFlow/Keras: ```python from tensorflow.keras.optimizers import Adam optimizer = Adam(learning_rate=0.001, beta_1=0.9, beta_2=0.999, epsilon=1e-8) ``` --- ## 总结 ✅ 你要求“实现机器学习的这个算法”——即 Adam 优化器 ✅ 上面提供了从零实现的完整 Python 类 + 示例 ✅ 支持字典或列表形式的参数/梯度输入 ✅ 包含偏差校正、默认超参数设置 ✅ 可直接用于自定义模型训练 --- 如需扩展支持批量处理、不同数据类型、或与神经网络框架对接，欢迎继续提问！ 是否需要我帮你把这个优化器封装成一个可复用的库？或者加入可视化训练过程？