在新项目排查一个定时任务处理慢的情况,数据库是pgsql,发现耗时最长的是插入操作,2000条耗时能到4秒,9000条能到25秒,20w条能到惊人的750秒。
搜索出来解决慢插入的方案,大概是以下两种:
1、jdbc url 加一个参数,重写insert语句,将多句合成一句,以以提高速度。
mysql 加 rewriteBatchedStatements=true
pgsql 加 reWriteBatchedInserts=true
我这个项目使用的是pgsql,即使加上了参数依然无效,又人说是驱动版本问题,改了版本也无效,所以暂时不知道问题在哪。如果这种方式能生效当然最好,最方便。
2、不要使用mybatis默认的saveBatch方式,而在mapper.xml中自定义insert语句,并通过foreach连接要插入的value。这种方式原理和上面其实差不都。但是要注意如果语句过长是会报错的,sql语句大小是又限制的。
用这种方式还有一个不好的地方就是,比如设置了自动生成id 和 时间戳的字段就得手动创建了,所以当时也没有用这个方案。
我的情况
当头疼怎么弄的时候,发现日志打印中出现多次preparing,如:
Preparing: INSERT INTO data ( id, create_time, name, kpi_id, unit, month_expect, year_total, data_type, config_id, wd ) VALUES ( ?, ?, ?, ?, ?, ?, ?, ?, ?, ? )
Preparing: INSERT INTO data ( id, create_time, name, kpi_id, unit, data_type, config_id, wd ) VALUES ( ?, ?, ?, ?, ?, ?, ?, ? )
Preparing: INSERT INTO data ( id, create_time, name, kpi_id, unit, month_expect, year_total, data_type, config_id, wd ) VALUES ( ?, ?, ?, ?, ?, ?, ?, ?, ?, ? )
由此可知,mybatis的默认插入规则会忽略null的属性插入,导致insert语句在不断的变化,如 有三条记录,有A B C 三个字段,每条记录都只有其中一个字段不为null。则即使是批量插入,还是会preparing不同的sql:
Preparing: INSERT INTO data ( A ) VALUES ( ? )
Preparing: INSERT INTO data ( B ) VALUES ( ? )
Preparing: INSERT INTO data ( C ) VALUES ( ? )
而我项目中的那个实体对象,其中有6、7个属性是可能为null的。这也导致9000条数据插入时,preparing sql会不断的变化,导致耗时25秒。
解决
所以知道这个情况了,就好处理了,查了下mybatis默认策略是会忽略null值插入,当然也可以手动指定不忽略。只需要在属性上加上注解:
@TableField(insertStrategy = FieldStrategy.IGNORED)
A B C 加上后的效果,不管插入多少条都只会有一次preparing:
Preparing: INSERT INTO data ( A, B, C ) VALUES ( ? ,?,?)
实测修改后,项目中9000条数据插入时间缩短到 3秒。