### Python 实现 RELU 函数及其求导 RELU（Rectified Linear Unit）是一种常用的激活函数，在神经网络中广泛应用。其定义如下： \[ f(x) = \begin{cases} 0 & \text{if } x \leq 0 \\ x & \text{if } x > 0 \end{cases} \] 对于该函数的求导，可以表示为： \[ f'(x) = \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \end{cases} \] 当 \(x=0\) 时，通常将其导数定义为 0 或者其他约定值。 以下是使用 Python 编写 RELU 及其求导的具体实现方法[^3]： ```python import numpy as np def relu(x): """ReLU 激活函数""" return np.maximum(0, x) def relu_derivative(x): """ReLU 的导数""" return (x > 0).astype(float) ``` 上述代码实现了两个功能：`relu()` 是标准的 RELU 激活函数；而 `relu_derivative()` 则返回对应输入的导数值。注意这里通过 `(x > 0)` 来判断输入是否大于零，并将布尔值转换成浮点型以便后续计算[^2]。 如果希望进一步封装并模拟 PyTorch 中自定义 Function 类的行为，则可以通过继承类的方式完成更复杂的场景支持: ```python class MyReLU: def __init__(self): pass def forward(self, input_): self.input = input_ return np.maximum(0, input_) def backward(self, grad_output): grad_input = grad_output.copy() grad_input[self.input <= 0] = 0 return grad_input # 使用示例 relu_obj = MyReLU() input_data = np.array([-1, 2, -3, 4], dtype=float) output = relu_obj.forward(input_data) grad_out = np.ones_like(output) grad_in = relu_obj.backward(grad_out) print("Forward Output:", output) print("Backward Gradient Input:", grad_in) ``` 此部分展示了如何构建一个简单的前向传播与反向传播机制来处理 RELU 和它的梯度更新过程。 #### 注意事项 - 对于某些特殊情况下可能需要考虑边界条件如 \(x=0\) 处的不同取舍方式。 - 在实际应用过程中应确保数据类型一致性和稳定性以避免潜在错误发生。