mysql日常工作中批量插入效率问题

个人总结:

循环单条数据插入基本上不会用,日常工作中更多的是十几条、几百条数据量的批量插入问题。

 就场景来看,在后台批量将前台选中的多条数据批量插入这种情况比较多,一般直接在mybatis中通过foreach拼成sql后插入。

或者是Excel表格的批量导入导出,基本上也是用mybatis就能解决,如果是控制在1000条以下直接拼sql影响不大,如果sql过长需要在mysql配置文件中设置最大sql容量,很少有几万条Excel数据批量导入。

另外平时也经常遇到分批导入问题,如浏览记录,GPS信息,实时传感器数据等热点数据,为了以后的数据分析和历史记录查看最好也采用分批次批量插入,一般情况下几千条数据足以,如果图省事也是可以通过拼接sql解决的。

数据转移情况下数据量可以是几万、几十万、百万级,为了加快效率,可以采用mysql自带的功能解决。

mysql有专门用于批量导入大数据功能需要手动开启,几万条数据通过jdbc的批量插入功能解决,比较方便易懂,百万级一般是数据转移情况,通过mysql读取文件方式导入。

A:https://blog.csdn.net/qq_36850813/article/details/95945237

B:https://blog.csdn.net/wzygis/article/details/83688720

总之在一般公司工作时大部分情况都不会破十万,有各种方法应对数据插入(分批,异步),不过相对插入的效率,考虑数据安全性和解决冲突也是需要注意的问题。

发布了61 篇原创文章 · 获赞 54 · 访问量 6万+

猜你喜欢

转载自blog.csdn.net/bibiboyx/article/details/99315629