tensorflow 使用遇到问题及解决办法

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/LaineGates/article/details/78974660

变量消耗显存不多却显存不足

UserWarning: Converting sparse IndexedSlices to a dense Tensor of unknown shape. 
This may consume a large amount of memory.
"Converting sparse IndexedSlices to a dense Tensor of unknown shape. "

今天使用tensorflow，显存总是超，11G啊，说没就没了，可是我使用的变量全算下来，也就才消耗50M的显存。。。
google后，终于发现原因tf.gather(…)函数。
这个函数会初始化数组，保存取得的下标。下标用tf.IndexedSlices类保存，会在gather函数内隐式转换为大Tensor。而如果参数是Tensor，其中至少一维是’?’的话，那么恭喜你，中标了！
解决办法：把参数换成Variable，至少不要存在某个维的大小是’?’。
据说， tf.nn.embedding_lookup() 也有这问题
参考
stackoverflow原帖