### 使用Python从零开始构建神经网络 #### 构建背景与意义 实现一个简单的三层神经网络有助于理解其工作原理，这对于设计有效的模型至关重要[^1]。无需担心特征工程，因为隐藏层会自动学习有用的特征[^3]。 #### 数据准备 数据集可以简单表示如下： ```python import numpy as np X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]]) y = np.array([[0], [1], [1], [0]]) ``` 这些输入`X`和标签`y`代表了一个异或门(XOR gate)的数据结构[^5]。 #### 初始化参数 定义权重矩阵和其他必要的超参数: ```python input_layer_size = 2 hidden_layer_size = 3 output_layer_size = 1 W1 = np.random.randn(input_layer_size, hidden_layer_size) b1 = np.zeros((1, hidden_layer_size)) W2 = np.random.randn(hidden_layer_size, output_layer_size) b2 = np.zeros((1, output_layer_size)) learning_rate = 0.1 iterations = 10000 ``` #### 前向传播算法 前向传播计算预测值并评估损失函数： ```python def sigmoid(z): return 1/(1+np.exp(-z)) for i in range(iterations): z2 = np.dot(X, W1) + b1 a2 = sigmoid(z2) z3 = np.dot(a2, W2) + b2 y_hat = sigmoid(z3) if i % 1000 == 0: cost = (-1/X.shape[0]) * np.sum(y*np.log(y_hat) + (1-y)*np.log(1-y_hat)) print(f"Iteration {i}, Cost: {cost}") ``` 此部分实现了激活函数sigmoid以及成本函数的计算逻辑[^2]。 #### 反向传播更新权值 通过反向传播调整权重来最小化误差： ```python dz3 = y_hat - y dW2 = (1/X.shape[0]) * np.dot(a2.T, dz3) db2 = (1/X.shape[0]) * np.sum(dz3, axis=0, keepdims=True) da2 = np.dot(dz3, W2.T) dz2 = da2 * a2*(1-a2) dW1 = (1/X.shape[0]) * np.dot(X.T, dz2) db1 = (1/X.shape[0]) * np.sum(dz2, axis=0) W1 -= learning_rate*dW1 b1 -= learning_rate*db1 W2 -= learning_rate*dW2 b2 -= learning_rate*db2 ``` 这段代码展示了如何利用梯度下降法来进行参数优化[^4]。