### BP神经网络的工作原理 BP（Back Propagation）神经网络是一种监督学习算法，其核心在于通过反向传播不断调整权重和偏置以减小误差，从而获取更准确的预测结果[^1]。该过程涉及两个主要阶段：前向传播与反向传播。 #### 前向传播 在网络初始化之后，输入数据被送入网络的第一层即输入层，并依次传递到隐藏层直至输出层。每一层中的节点计算加权求和并加上偏置项后经过激活函数转换为下一层的输入信号。最终由输出层给出整个系统的响应值。 #### 反向传播 当获得实际输出后，将其与期望目标对比得出差异作为反馈信息沿原路径返回至各层内部更新连接强度参数直到满足收敛条件或达到最大迭代次数限制为止。此过程中利用链式法则对损失函数关于各个参数求导数以便于后续梯度下降法优化操作。 ### Python代码实现 下面是一个简单的基于`numpy`库构建的三层次全连接型BP神经网络案例： ```python import numpy as np class NeuralNetwork(object): def __init__(self, input_nodes, hidden_nodes, output_nodes, learning_rate): self.input_nodes = input_nodes self.hidden_nodes = hidden_nodes self.output_nodes = output_nodes # 初始化权重矩阵 self.weights_input_to_hidden = np.random.normal(0.0, self.hidden_nodes ** -0.5, (self.hidden_nodes, self.input_nodes)) self.weights_hidden_to_output = np.random.normal(0.0, self.output_nodes ** -0.5, (self.output_nodes, self.hidden_nodes)) self.lr = learning_rate #### 设定激活函数sigmoid self.activation_function = lambda x : 1 / (1 + np.exp(-x)) def train(self, inputs_list, targets_list): # 将输入列表转化为二维数组形式 inputs = np.array(inputs_list, ndmin=2).T targets = np.array(targets_list, ndmin=2).T ### 正向传播 ### hidden_inputs = np.dot(self.weights_input_to_hidden, inputs) hidden_outputs = self.activation_function(hidden_inputs) final_inputs = np.dot(self.weights_hidden_to_output, hidden_outputs) final_outputs = final_inputs # 输出层不使用激活函数 ### 计算误差 ### output_errors = targets - final_outputs hidden_errors = np.dot(self.weights_hidden_to_output.T, output_errors ) hidden_grads = hidden_errors * hidden_outputs * (1-hidden_outputs ) ### 更新权重 ### self.weights_hidden_to_output += self.lr * np.dot(output_errors, hidden_outputs.T) self.weights_input_to_hidden += self.lr * np.dot(hidden_grads, inputs.T) def MSE(y, Y): # 定义均方差评估指标 return np.mean((y-Y)**2) if __name__ == "__main__": n_records, n_features = features.shape network = NeuralNetwork(n_features, 3, 1, 0.06) losses = {'train':[], 'validation':[]} for ii in range(iterations): batch = np.random.choice(features.index, size=batch_size) X, y = features.ix[batch].values, targets.ix[batch]['cnt'] network.train(X, y) if ii % print_every == 0: loss = MSE(network.run(validation_features).T, validation_targets['cnt'].values) losses['validation'].append(loss) print(losses) ``` 上述代码展示了如何创建一个基本版本的BP神经网络类以及训练方法的具体实施细节[^3]。