Tensorflow深度学习对遥感图像分类,内存不够怎么办?

问题描述

在使用Tensorflow-cpu对图像分类的时候,在预读数据过程中,由于数据量过大,内存不足,导致计算失败。

使用环境:win10系统 Pycharm tensorflow-cpu2.5.0 CPU: i7 8700 内存64G

图1 CPU配置图

图2 内存信息图

使用数据,数据大小大概有100万个像元,相当于一次性预测100万张图,将这些数据同一批次读取内存然后使用训练好的模型进行预测,预测过程中预读数据就过不了,因为内存不够,还差几十个G的空间。

解决办法

对于这个问题解决的办法有几种:

方法一:直接提高内存硬件配置

使用更多的内存条或者更换更高配置的内存条,我的电脑由于主板上只有两个内存条卡槽,而我已经使用了最高的内存条内置(目前能买到的单条最高32G内存条,达到64G),既没办法增加内存条,也没办法增加配置了,想换包含四个内存卡槽的主板,但是咨询了一下不好配置,不然其他很多相应硬件需要更换。有条件的情况下可以使用这种办法进行更新升级。

方法二:修改配置运行环境

首先,如果内存只差一点点的情况下,我们可以尽量关闭其他正在运行的不相关应用程序,尽可能多的释放内存,同时也可以减少其他应用程序的干扰,实际应用过程中,有时候真的就会干扰到深度学习的计算过程导致中断。

此外,我们可以增加虚拟内存空间,使用部分硬盘空间来代替内存

即在方法一不能解决的情况下,我们可以尝试增加虚拟内存的方法。虚拟内存修改方法如下:我的电脑,右键属性,打开高级系统设置配置面板,打开高级选项,性能设置中去设置虚拟内存:

点击高级选项,点击下面的更改按钮,对虚拟内存进行修改,根据自己电脑情况进行设置,一般是内存的1-1.5倍大小,我设置了大约85G。

配置好大小后,点击设置按钮进行设置,然后应用即可,原来win7系统需要重启,最近发现win10不重启也可以生效。

如方法一中的图2就是配置后的效果。

该方法存在问题:会频繁使用使用磁盘,可能会加速磁盘的损坏,所以建议还是少用。还可能修改系统盘的文件,导致某些程序的启动出现问题,这一点还需进一步验证,之前在计算的时候改更改过其他磁盘卷号,还合并过磁盘,所以不确定是否是因为设置过大的虚拟内存引起的。

补充:Tensorflow 2.10.0运行自动分配虚拟内存了

最近新配置并重装了一台电脑,内存只有48G,虚拟内存系统默认配置的,如下图,可以看到大概有5.3G,在计算过程中,发现可用的内存自动提高了,由原来的63.3G变成了116G,先电脑系统磁盘分配了850G,空间够大,如果可用空间不够,估计就不会自动分配了,原来就是可用空间不太多,会中断预测过程。

猜你喜欢

转载自blog.csdn.net/soderayer/article/details/129264440