### 使用 Numpy 实现神经网络全连接层 全连接层（Fully Connected Layer, FNN）是神经网络的核心部分之一，其主要功能是对输入数据进行加权求和操作，并通过激活函数引入非线性特性。以下是使用 `Numpy` 实现全连接层的具体方法及其代码示例。 #### 1. 权重矩阵初始化 权重矩阵通常被随机初始化为较小的数值范围内的浮点数，以便于后续训练过程中的梯度更新。偏置项则一般初始化为零或小常量值[^2]。 ```python import numpy as np def initialize_weights(input_size, output_size): """ 初始化权重矩阵和偏置向量。 参数: input_size (int): 输入维度大小 output_size (int): 输出维度大小 返回: weights (ndarray): 随机初始化的权重矩阵 bias (ndarray): 偏置向量 """ # Xavier Initialization 方法用于初始化权重矩阵 scale = np.sqrt(1 / input_size) weights = np.random.uniform(-scale, scale, size=(input_size, output_size)) bias = np.zeros((1, output_size)) # 偏置初始为0 return weights, bias ``` #### 2. 前向传播计算 前向传播过程中，输入数据与权重矩阵相乘后再加上偏置项，最后通过激活函数得到输出结果[^3]。 ```python def forward_propagation(X, weights, bias, activation_function=np.tanh): """ 执行全连接层的前向传播。 参数: X (ndarray): 输入数据，形状为 (batch_size, input_size) weights (ndarray): 权重矩阵，形状为 (input_size, output_size) bias (ndarray): 偏置向量，形状为 (1, output_size) activation_function (function): 激活函数，默认为 tanh 返回: Z (ndarray): 加权求和后的中间变量 A (ndarray): 经过激活函数后的输出 """ Z = np.dot(X, weights) + bias # 计算加权求和 A = activation_function(Z) # 应用激活函数 return Z, A ``` #### 3. 反向传播计算 反向传播阶段需要计算损失相对于权重和偏置的梯度，从而调整模型参数以最小化误差[^4]。 ```python def backward_propagation(dA, cache, activation_derivative=lambda x: 1 - np.power(np.tanh(x), 2)): """ 执行全连接层的反向传播。 参数: dA (ndarray): 当前层输出的梯度 cache (tuple): 缓存的前向传播结果 (X, Z, W, b)，其中Z为未激活状态下的输出 activation_derivative (function): 激活函数导数，默认为tanh' 返回: dW (ndarray): 对应当前层权重的梯度 db (ndarray): 对应当前层偏置的梯度 dX (ndarray): 上一层输出的梯度 """ X, Z, W, _ = cache m = X.shape[0] dZ = dA * activation_derivative(Z) # 激活函数导数链式法则 dW = np.dot(X.T, dZ) / m # 平均权重梯度 db = np.sum(dZ, axis=0, keepdims=True) / m # 平均偏置梯度 dX = np.dot(dZ, W.T) # 下传至前一层的梯度 return dW, db, dX ``` #### 完整流程演示 下面是一个完整的例子，展示了如何利用上述定义的功能完成一次正向和反向传播： ```python if __name__ == "__main__": # 数据准备 batch_size, input_dim, hidden_units = 5, 10, 8 X = np.random.randn(batch_size, input_dim) # 初始化权重和偏置 W, b = initialize_weights(input_dim, hidden_units) # 正向传播 Z, A = forward_propagation(X, W, b) # 假设已知目标梯度dA dA = np.random.randn(*A.shape) # 存储缓存供反向传播使用 cache = (X, Z, W, b) # 反向传播 dW, db, dX = backward_propagation(dA, cache) print("Weight Gradients:\n", dW) print("\nBias Gradients:\n", db) print("\nPrevious Layer Gradient:\n", dX) ``` 以上即为基于 `Numpy` 的全连接层实现方式及其实战演练。 ---