network numpy backward 多层

### 使用NumPy实现多层网络反向传播为了理解并实现基于`NumPy`库的多层神经网络及其反向传播算法，可以考虑构建一个具有两个隐藏层的简单前馈神经网络模型。此过程涉及定义权重矩阵、偏置项初始化以及激活函数的选择。 #### 初始化参数与输入数据准备首先导入必要的模块，并设置随机种子以确保实验可重复性[^1]： ```python import numpy as np np.random.seed(123) ``` 接着设定一些超参数，比如学习率、迭代次数等；同时也要准备好训练样本集和标签。 #### 前向传播计算在前向传递阶段，通过线性变换加上非线性的sigmoid激活函数来逐层处理输入信号直到得到最终输出预测值[^2]: ```python f = lambda x: 1.0 / (1.0 + np.exp(-x)) # Sigmoid Activation Function h1 = f(np.dot(W1, x) + b1) # Hidden Layer 1 Output h2 = f(np.dot(W2, h1) + b2) # Hidden Layer 2 Output out = np.dot(W3, h2) + b3 # Network Final Prediction ``` #### 反向传播更新权值当完成一次完整的正向遍历之后，则需依据损失梯度自顶向下调整各层之间的连接强度即权重W及偏置b。具体来说就是按照链式法则求导数，从而获得每一步操作对于总误差的影响程度，并据此修正相应位置上的数值大小。假设已知目标真实类别y_true，那么可以根据均方差(mean squared error,MSE)作为代价衡量标准: \[ E=\frac{1}{2}(y_{\text {true }}-\hat{y})^{2} \] 其中$\hat y$表示由上述公式得出的估计概率分布。此时针对最后一层（输出层），其局部敏感度δ可通过下述方式获取： \[ \delta^{L}=-(y_{\text {true}}-\hat{y}) * g'(z), z=W L h+b L \] 这里g'代表激活函数的一阶导数形式。而对于其他内部节点而言，则遵循如下递推关系： \[ \delta^{l}=(w^{l+1 T} \cdot \delta^{l+1}) * g'\left(z^{l}\right) \] 最后利用这些累积起来的信息去优化整个系统的性能表现，例如采用批量梯度下降法(Batch Gradient Descent,BGD): \[ w:=w-\eta \nabla_w J(w ; X, Y)=w+\Delta w,\quad \Delta w=-\eta \sum_x{\delta(x)}*a(x)^T \] 此处η指的是预设的学习速率因子，而Δw则是指代单次循环内所发生的实际变化量。综上所述，以上便是使用Python配合NumPy工具包手动搭建一个多隐含单元的人工神经元结构，并实现了基本BP机制的核心原理概述。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 dockerfile构建springboot + springCloud