### 如何用Python实现累计BP（反向传播）算法来训练一个具有单隐层的神经网络 #### 理论基础 BP（Back Propagation）神经网络是一种基于梯度下降法的学习算法，其核心在于通过前向传播计算预测值，并利用误差信号进行反向传播调整权重和偏置。对于单隐层神经网络而言，通常由输入层、隐藏层以及输出层组成[^1]。 在累计BP算法中，每次迭代会累积多个样本的误差后再统一更新权值，这种方法可以减少因单一样本次优解而导致的震荡现象，从而提高模型稳定性[^2]。 #### 参数初始化 为了确保网络能够正常收敛，在开始训练之前需合理设置初始参数。一般情况下，权重矩阵W会被随机赋较小数值而阈值b则设为零或者同样采用小范围内的随机数生成方式完成初始化操作。 ```python import numpy as np def initialize_parameters(input_size, hidden_size, output_size): W1 = np.random.randn(hidden_size, input_size) * 0.01 b1 = np.zeros((hidden_size, 1)) W2 = np.random.randn(output_size, hidden_size) * 0.01 b2 = np.zeros((output_size, 1)) parameters = {"W1": W1, "b1": b1, "W2": W2, "b2": b2} return parameters ``` #### 激活函数及其导数定义 激活函数用于引入非线性特性到我们的模型当中去；这里我们选用sigmoid作为激活函数并给出相应求导公式以便后续使用于误差回传阶段。 ```python def sigmoid(x): s = 1 / (1 + np.exp(-x)) cache = s return s, cache def sigmoid_derivative(dA, activation_cache): s = activation_cache dZ = dA * s * (1-s) return dZ ``` #### 前向传播过程 从前至后依次经过各层节点直至得到最终输出结果Y_hat的过程即称为正向传递流程。 ```python def forward_propagation(X, parameters): W1 = parameters["W1"] b1 = parameters["b1"] W2 = parameters["W2"] b2 = parameters["b2"] Z1 = np.dot(W1, X) + b1 A1, _ = sigmoid(Z1) Z2 = np.dot(W2, A1) + b2 A2, _ = sigmoid(Z2) caches = ((X,A1),(A1,Z2)) Y_hat = A2 return Y_hat,caches ``` #### 反向传播机制 依据链式法则自顶向下逐级推算出每层所需修正量Δwij与Δbi之后再据此修改原连接强度w_ij及偏差项bias_i达到优化目的[^4]。 ```python def compute_cost(Y_hat,Y): m=Y.shape[1] cost=-np.sum(np.multiply(np.log(Y_hat),Y)+np.multiply(np.log(1-Y_hat),(1-Y)))/m return cost def backward_propagation(parameters, caches, X, Y): m = X.shape[1] W2 = parameters['W2'] A1 = caches[0][1] Z2 = caches[1][1] dZ2 = Y_hat - Y dW2 = np.dot(dZ2, A1.T) / m db2 = np.sum(dZ2, axis=1, keepdims=True) / m dA1 = np.dot(W2.T,dZ2) dZ1 = sigmoid_derivative(dA1,activation_cache=A1) dW1 = np.dot(dZ1,X.T)/m db1 = np.sum(dZ1,axis=1,keepdims=True)/m grads={"dW1":dW1,"db1":db1,"dW2":dW2,"db2":db2} return grads ``` #### 更新规则 按照预先设定好的学习率η逐步调整各个待估参数直到满足停止条件为止。 ```python def update_parameters(parameters,grads,learning_rate): L=len(parameters)//2 for l in range(L): parameters[f"W{l+1}"] -= learning_rate*grads[f"dW{l+1}"] parameters[f"b{l+1}"] -= learning_rate*grads[f"db{l+1}"] return parameters ``` #### 完整示例代码整合 最后将上述模块组合起来形成一套完整的解决方案如下所示： ```python if __name__ == "__main__": # Example Data Preparation X=np.array([[0,0],[0,1],[1,0],[1,1]]).T Y=np.array([[0],[1],[1],[0]]) n_x,n_h,n_y=(2,4,1) params=initialize_parameters(n_x,n_h,n_y) epochs=10000 lr=0.5 costs=[] for i in range(epochs): y_pred,caches=forward_propagation(X,params) cost=compute_cost(y_pred,Y) if i % 100==0 or i==(epochs-1):print(f"Iteration {i}: Cost={cost}") costs.append(cost) gradients=backward_propagation(params,caches,X,Y) params=update_parameters(params,gradients,lr) import matplotlib.pyplot as plt plt.plot(range(len(costs)),costs,'r') plt.xlabel('Iterations ') plt.ylabel('Cost Value') plt.show() ```