mybatis JDBC 批量插入慢的其中一种情况

        在新项目排查一个定时任务处理慢的情况,数据库是pgsql,发现耗时最长的是插入操作,2000条耗时能到4秒,9000条能到25秒,20w条能到惊人的750秒。

搜索出来解决慢插入的方案,大概是以下两种:

1、jdbc url 加一个参数,重写insert语句,将多句合成一句,以以提高速度。 

        mysql 加 rewriteBatchedStatements=true

        pgsql 加 reWriteBatchedInserts=true

我这个项目使用的是pgsql,即使加上了参数依然无效,又人说是驱动版本问题,改了版本也无效,所以暂时不知道问题在哪。如果这种方式能生效当然最好,最方便。

2、不要使用mybatis默认的saveBatch方式,而在mapper.xml中自定义insert语句,并通过foreach连接要插入的value。这种方式原理和上面其实差不都。但是要注意如果语句过长是会报错的,sql语句大小是又限制的。

 用这种方式还有一个不好的地方就是,比如设置了自动生成id 和 时间戳的字段就得手动创建了,所以当时也没有用这个方案。

我的情况

        当头疼怎么弄的时候,发现日志打印中出现多次preparing,如:

Preparing: INSERT INTO data ( id, create_time, name, kpi_id, unit, month_expect, year_total, data_type, config_id, wd ) VALUES ( ?, ?, ?, ?, ?, ?, ?, ?, ?, ? )

Preparing: INSERT INTO data ( id, create_time, name, kpi_id, unit, data_type, config_id, wd ) VALUES ( ?, ?, ?, ?, ?, ?, ?, ? )

Preparing: INSERT INTO data ( id, create_time, name, kpi_id, unit, month_expect, year_total, data_type, config_id, wd ) VALUES ( ?, ?, ?, ?, ?, ?, ?, ?, ?, ? )

由此可知,mybatis的默认插入规则会忽略null的属性插入,导致insert语句在不断的变化,如 有三条记录,有A B C 三个字段,每条记录都只有其中一个字段不为null。则即使是批量插入,还是会preparing不同的sql:

Preparing: INSERT INTO data ( A ) VALUES ( ? )

Preparing: INSERT INTO data ( B ) VALUES ( ? )

Preparing: INSERT INTO data ( C ) VALUES ( ? )

而我项目中的那个实体对象,其中有6、7个属性是可能为null的。这也导致9000条数据插入时,preparing sql会不断的变化,导致耗时25秒。

解决

所以知道这个情况了,就好处理了,查了下mybatis默认策略是会忽略null值插入,当然也可以手动指定不忽略。只需要在属性上加上注解:

@TableField(insertStrategy = FieldStrategy.IGNORED)

A B C 加上后的效果,不管插入多少条都只会有一次preparing:

Preparing: INSERT INTO data ( A, B, C ) VALUES ( ? ,?,?)

实测修改后,项目中9000条数据插入时间缩短到 3秒。

猜你喜欢

转载自blog.csdn.net/z409595641/article/details/127424235