神经网络损失函数nan的一个疑问

cross_entropy =-tf.reduce_sum(y_*tf.log(y))#第一个

cross_entropy = -tf.reduce_sum(y_*tf.log(tf.clip_by_value(y,1e-8,tf.reduce_max(y)))) #第二个

cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y),1))#第三个


当我使用第一个的时候 训练的损失函数根本降不下去,输出是NAN

即使是第二个方法  我把y_可能出现0的情况给忽略了 也降不下去

但是使用第三个方法瞬间就work了 

很奇怪  特此记录

猜你喜欢

转载自blog.csdn.net/wqtltm/article/details/81122203