接口数据量太大,导致内存溢出,解决办法

通常我们使用接口调用数据总是返回一段我们需要的信息,或者是json 格式信息,通过接收将数据保存到程序当中,再对接收到的数据进行转换成对应的模型格式 。目前遇到的问题是接收的数据量过于巨大,导致完整接收将导致内存溢出,无法进行接下去的工作 。
解决办法:
我们将数据保存到本地文件 ,再通过每次读取数据内容,将数据整合成对应格式,并做删减处理,直到数据完整转换完成,再对数据进行之后的相应操作 。

1,其中遇到的问题,可能存在数据字段过长,可通过二分法找到对应的字段大小,对此相应的对该字段进行扩大处理。
2,我们在调用大数据过程中,为避免数据的冲突与超时,应尽量安排调用时间间隔,避免程序卡死。

猜你喜欢

转载自blog.csdn.net/weixin_42973143/article/details/82462063