### SparseCategoricalCrossentropy 的用法详解 `tf.keras.losses.SparseCategoricalCrossentropy` 是 TensorFlow 中用于多分类任务的一种损失函数。当 `from_logits=True` 参数被设置时，表示输入张量未经过 softmax 或其他激活函数处理，而是原始的 logits 值。 #### 1. **理论背景** 在神经网络中，通常最后一层会输出未经缩放的概率分布（logits）。如果这些 logits 被传递给 Softmax 函数，则可以得到概率形式的结果。然而，在某些情况下，为了数值稳定性以及性能优化，可以直接将 logits 输入到交叉熵损失函数中，并通过内部实现完成必要的转换[^1]。 #### 2. **代码示例** 以下是使用 `SparseCategoricalCrossentropy` 并设置 `from_logits=True` 的具体例子： ```python import tensorflow as tf # 创建模型实例并编译 model = tf.keras.Sequential([ tf.keras.layers.Dense(64, activation='relu', input_shape=(784,)), tf.keras.layers.Dense(10) # 输出层不带激活函数 ]) loss_object = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True) optimizer = tf.keras.optimizers.Adam() model.compile(optimizer=optimizer, loss=loss_object, metrics=['accuracy']) # 训练模型 (x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data() x_train = x_train.reshape(-1, 784).astype('float32') / 255.0 x_test = x_test.reshape(-1, 784).astype('float32') / 255.0 history = model.fit(x_train, y_train, epochs=10, validation_split=0.2) ``` 上述代码展示了如何配置一个简单的全连接神经网络来执行 MNIST 数据集上的手写数字识别任务。注意以下几点： - 输出层没有应用任何激活函数。 - 编译阶段指定了自定义的 `SparseCategoricalCrossentropy` 实例，并设置了 `from_logits=True`。 - 模型训练过程中自动计算了基于 logits 的稀疏类别交叉熵损失。 #### 3. **参数说明** - **`from_logits=True`**: 表明传入的是未经变换的 logit 值而非概率值。此时框架会在内部调用 Softmax 来获得最终预测概率后再计算交叉熵损失。 - 如果设为 False，则假定输入已经过某种方式转化为合法的概率分布向量[^2]。 #### 4. **注意事项** - 当前版本推荐尽可能利用内置支持的功能以提高效率和减少错误率。例如这里直接指定 `from_logits=True` 就能避免手动添加额外操作带来的复杂性和潜在风险[^3]。 --- ###