先说一下我碰到这个问题的平台环境：操作系统是CentOS，多个GPU节点，cuda 9.0。运行pytorch和tensorflow都会提示CUDNN_STATUS_INTERNAL_ERROR错误。
对于此问题，解决办法有：
1、删除掉nvidia缓存，或者还需要重启。
rm -rf ~/.nv
但这个方法不适合我的运行环境，还是会继续提示同样的问题
2、运行pytorch或tensorflow的时候，指定CUDA_CACHE_PATH路径。关于这个路径，有的说是用绝对路径，有的说只需用相对路径。
CUDA_VISIBLE_DEVICES=0 CUDA_CACHE_PATH='~/.cudacache' python main.py
为了这个问题，耗费了我好几天的时间，终于用相对路径解决了此问题。
大家用第2种方法时，如果采用绝对路径会报错，就用相对路径试试。希望能帮到大家！