### 使用 NumPy 手动实现简单神经网络 以下是基于提供的参考资料和专业知识，使用 NumPy 构建一个简单的两层神经网络的代码教程。该网络包括正向传播、损失计算、反向传播以及参数更新。 #### 1. 导入必要的库 为了简化操作并专注于核心逻辑，我们只需要导入 `numpy` 库即可。 ```python import numpy as np ``` #### 2. 定义超参数 定义一些基本的超参数，例如输入维度、隐藏层节点数、输出维度等。 ```python input_size = 2 # 输入层大小 hidden_size = 3 # 隐藏层大小 output_size = 1 # 输出层大小 learning_rate = 0.1 # 学习率 ``` #### 3. 初始化权重矩阵 随机初始化权重矩阵和偏置项，这是构建神经网络的第一步[^1]。 ```python np.random.seed(42) # 设置随机种子以确保结果可重复 W1 = np.random.randn(input_size, hidden_size) # 第一层权重 (2x3) b1 = np.zeros(hidden_size) # 第一层偏置 (3,) W2 = np.random.randn(hidden_size, output_size) # 第二层权重 (3x1) b2 = np.zeros(output_size) # 第二层偏置 (1,) ``` #### 4. 正向传播 通过线性变换和激活函数完成正向传播过程。 ```python def forward(X): """ 计算正向传播的结果 :param X: 输入数据 (n_samples, input_size) :return: 各层中间变量及最终输出 """ z1 = np.dot(X, W1) + b1 # 第一层线性变换 a1 = np.maximum(z1, 0) # ReLU 激活函数 z2 = np.dot(a1, W2) + b2 # 第二层线性变换 return z1, a1, z2 # 返回各层中间变量 ``` #### 5. 反向传播 利用链式法则计算梯度，并更新权重和偏置。 ```python def backward(X, y_true, z1, a1, z2): """ 计算反向传播中的梯度并更新参数 :param X: 输入数据 (n_samples, input_size) :param y_true: 真实标签 (n_samples, 1) :param z1: 第一层线性输出 :param a1: 第一层激活后的输出 :param z2: 第二层线性输出 :return: 更新后的权重和偏置 """ m = X.shape[0] dz2 = z2 - y_true # 输出误差 dW2 = (1/m) * np.dot(a1.T, dz2) # 对第二层权重求导 db2 = (1/m) * np.sum(dz2, axis=0) # 对第二层偏置求导 da1 = np.dot(dz2, W2.T) # 第二层误差传递到第一层 dz1 = da1.copy() # 复制误差 dz1[z1 <= 0] = 0 # ReLU 的导数处理 dW1 = (1/m) * np.dot(X.T, dz1) # 对第一层权重求导 db1 = (1/m) * np.sum(dz1, axis=0) # 对第一层偏置求导 # 参数更新 global W1, b1, W2, b2 W1 -= learning_rate * dW1 # 更新第一层权重 b1 -= learning_rate * db1 # 更新第一层偏置 W2 -= learning_rate * dW2 # 更新第二层权重 b2 -= learning_rate * db2 # 更新第二层偏置 ``` #### 6. 损失函数 采用均方误差作为损失函数。 ```python def compute_loss(y_pred, y_true): """ 计算均方误差损失 :param y_pred: 预测值 (n_samples, 1) :param y_true: 真实值 (n_samples, 1) :return: 平均损失 """ loss = np.mean((y_pred - y_true)**2) return loss ``` #### 7. 整合训练流程 将上述模块组合起来形成完整的训练循环。 ```python X_train = np.array([[0, 0], [0, 1], [1, 0], [1, 1]]) # 输入样本 y_train = np.array([0, 1, 1, 0]).reshape(-1, 1) # XOR 数据集目标值 for epoch in range(1000): # 进行多次迭代 _, a1, z2 = forward(X_train) # 前向传播 loss = compute_loss(z2, y_train) # 计算损失 if epoch % 100 == 0: print(f"Epoch {epoch}, Loss: {loss:.4f}") # 每隔一定次数打印一次损失 backward(X_train, y_train, _, a1, z2) # 反向传播 ``` 以上是一个完整的两层神经网络的手动实现过程^。 ---