关于mysql大批量插入数据 tomcat大批量接收数据

工作中有个需求,客户要求Excel导入数据最多5000行,每行数据大概有十七八列,再加上数据有关的Id要存储起来,这个类也就有近30个字段,导入的数据是放在从表里,还要先保存主表中的几十个字段,然后保存从表5000条数据

也就是说,要保存这些数据,如果要一条一条插入,那就要遍历访问5000次数据库,这样的效率肯定不行的,每次数据库的连接和关闭 是耗时的,所以尽量减少与数据库之间的交互,那么就批量插入,insert(),(),().....。这样可以使5000次连接变为1-n 远远小于5000次。笔者通过一次全部插入5000条数据,发现mysql会报错。

Thread stack overrun:  246144 bytes used of a 262144 byte stack, and 16000 bytes needed.  Use 'mysqld --thread_stack=#' to specify a bigger stack.; uncategorized SQLException for SQL []; SQL state [HY000]; error code [1436]; Thread stack overrun:  246144 bytes used of a 262144 byte stack, and 16000 bytes needed.  Use 'mysqld --thread_stack=#' to specify a bigger stack.; nested exception is java.sql.SQLException: Thread stack overrun:  246144 bytes used of a 262144 byte stack, and 16000 bytes needed.  Use 'mysqld --thread_stack=#' to specify a bigger stack.

简单理解就是线程栈溢出了,修改mysql的配置文件my.ini(也有可能不是这个名字,一般都是,跟读者的数据库安装方式有关) thread_stack调整为更大一点的数字,例如;thread_stack=512k

5000条数据是用ajax交互的,如果使用Tomcat的默认配置,当一个key所对应的value值非常大的时候,springmvc接收不到数据。比如笔者这种情况,5000条数据通过后台解析完毕然后放入list集合中,然后传递到前台,前台点击保存的时候转为json格式再传递到后台,使用ajax发送的json数据,5000条数据值仅对应一个key(goodsInfo),5000*30=15万个key:value的字符串。发现在springmvc中goodsInfo接收为null.


像这种情况,需要修改一下tomcat的配置文件,server.xml    maxPostSize="-1" 保证tomcat不受字符串的长度限制,都能接收到数据


猜你喜欢

转载自blog.csdn.net/YAO_IT/article/details/80418980
今日推荐