带温度参数的Softmax在Python里怎么实现？数值稳定性要注意什么？

以下是几种Python实现带有温度参数的softmax函数的代码示例： ### 简单实现 ```python import numpy as np def softmax(logits): exp_logits = np.exp(logits - np.max(logits)) return exp_logits / np.sum(exp_logits) def softmax_with_temperature(logits, temperature=1.0): scaled_logits = [x / temperature for x in logits] return softmax(scaled_logits) ``` ### 考虑数值稳定性的实现 ```python import numpy as np def softmax_with_temperature(scores, temperature=1.0): """带温度系数的Softmax""" scores = scores / temperature max_scores = np.max(scores, axis=-1, keepdims=True) exp_scores = np.exp(scores - max_scores) # 数值稳定性处理 return exp_scores / np.sum(exp_scores, axis=-1, keepdims=True) ``` ### 针对稀疏矩阵的实现 ```python import tensorflow as tf import numpy as np from scipy.sparse import csr_matrix def sparse_softmax(adj, sess, temperature=0.1): adj = adj.tocoo() indices = np.mat([adj.row, adj.col]).transpose() A_values = tf.placeholder(tf.float32, shape=(None), name='A_values') A_out = tf.sparse.softmax(tf.SparseTensor(indices, A_values / temperature, dense_shape=adj.shape)) spare_mat = sess.run(A_out, feed_dict={A_values: adj.data}) indices = spare_mat.indices new_values = spare_mat.values rows = indices[:, 0] cols = indices[:, 1] new_spare_mat = csr_matrix((new_values, (rows, cols)), shape=adj.shape) return new_spare_mat.tocsr() ```

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇用Python做地月系统动画，为什么不能按真实比例画？