### 构建神经网络的基础 要在 Python 中从零开始构建一个简单的神经网络而不依赖于任何第三方库，可以基于基本的数学运算来实现。以下是关于如何设计和初始化这样一个简单神经网络的核心思路。 #### 数学基础 神经网络的本质在于矩阵乘法、激活函数以及反向传播算法的应用。为了实现这些功能，需要定义权重矩阵、偏置项，并选择合适的激活函数（如 Sigmoid 或 ReLU）。此外，还需要手动计算梯度以便更新参数[^1]。 ```python import math class neuralNetwork: def __init__(self, input_nodes, hidden_nodes, output_nodes, learning_rate): self.input_nodes = input_nodes self.hidden_nodes = hidden_nodes self.output_nodes = output_nodes # 初始化权重矩阵 (随机初始值) import random random.seed(0) # 设置种子以保证可重复性 self.weights_input_hidden = [[random.uniform(-0.5, 0.5) for _ in range(hidden_nodes)] for _ in range(input_nodes)] self.weights_hidden_output = [[random.uniform(-0.5, 0.5) for _ in range(output_nodes)] for _ in range(hidden_nodes)] # 学习率 self.learning_rate = learning_rate def sigmoid(self, x): return 1 / (1 + math.exp(-x)) def derivative_sigmoid(self, x): return x * (1 - x) def forward_pass(self, inputs_list): # 转换输入列表为二维数组 inputs = [inputs_list] # 计算隐藏层节点的输入信号 hidden_inputs = [] for h in range(self.hidden_nodes): total = sum(inputs[i] * self.weights_input_hidden[i][h] for i in range(self.input_nodes)) hidden_inputs.append(total) # 应用激活函数得到隐藏层输出 hidden_outputs = list(map(self.sigmoid, hidden_inputs)) # 计算最终输出层节点的输入信号 final_inputs = [] for o in range(self.output_nodes): total = sum(hidden_outputs[h] * self.weights_hidden_output[h][o] for h in range(self.hidden_nodes)) final_inputs.append(total) # 应用激活函数得到最终输出 outputs = list(map(self.sigmoid, final_inputs)) return inputs, hidden_outputs, outputs def backward_pass(self, targets, inputs, hidden_outputs, outputs): # 输出误差 output_errors = [(targets[o] - outputs[o]) for o in range(len(targets))] # 隐藏层误差 hidden_errors = [ sum([output_errors[o] * self.weights_hidden_output[h][o] for o in range(self.output_nodes)]) for h in range(self.hidden_nodes) ] # 更新隐藏层到输出层的权重 for h in range(self.hidden_nodes): for o in range(self.output_nodes): delta_weight = self.learning_rate * output_errors[o] * self.derivative_sigmoid(outputs[o]) * hidden_outputs[h] self.weights_hidden_output[h][o] += delta_weight # 更新输入层到隐藏层的权重 for i in range(self.input_nodes): for h in range(self.hidden_nodes): delta_weight = self.learning_rate * hidden_errors[h] * self.derivative_sigmoid(hidden_outputs[h]) * inputs[0][i] self.weights_input_hidden[i][h] += delta_weight def train(self, inputs_list, targets_list): inputs, hidden_outputs, outputs = self.forward_pass(inputs_list) self.backward_pass(targets_list, inputs, hidden_outputs, outputs) def query(self, inputs_list): _, _, outputs = self.forward_pass(inputs_list) return outputs ``` 上述代码展示了如何创建一个两层前馈神经网络，其中包含了正向传递和反向传播的过程。 --- ### 关键组件说明 1. **权重初始化**: 权重被设置为介于 \([-0.5, 0.5]\) 的随机数，这有助于防止梯度消失或爆炸问题。 2. **Sigmoid 函数**: 这是一个常用的非线性激活函数，用于引入模型中的非线性特性。 3. **前向传播**: 输入经过加权求和并通过激活函数后传至下一层。 4. **反向传播**: 使用链式法则计算损失相对于各权重的导数，并利用学习率调整权重。 --- ### 实现细节补充 尽管此方法完全不依赖外部库，但在实际应用中推荐使用 NumPy 提供高效的数值计算支持。如果坚持无库方式，则需注意浮点精度可能导致性能下降的问题[^3]。 ---