Mysql数据同步ElasticSearch方案

在开发中遇到的问题:

项目中订单服务的订单数据量太大,mysql中查询订单过慢,如何保证快速的查询并且不会影响订单下单的速度?

当时想到的是使用ElasticSearch搜索引擎来解决查询过慢的问题,大概有如下思路:

1. 使用mysql与es的同步插件,比如比较流行的elasticsearch-jdbc

缺点: 无法灵活的添加数据,比如你对添加进mysql中的数据进行一些聚合,查询等操作之后,再添加到es,这种操作插件很那实现

2. 使用mq消息队列在代码中实现,理由是mq异步的特性不会影响订单下单的速度,并且能根据自己想要的数据模型进行存储到es,比如对订单以及订单详情进行冗余操作,存入es。

步骤: 订单添加到mysql  -->  拿到该订单,发送消息到mq  --> mq监听端消费消息,代码实现自己想要的数据模型,http调用es保存操作

缺点: 涉及到麻烦的分布式事物,比如添加mysql成功,发送消息之后消费,添加到es失败,异步操作无法回滚事物

3. 使用多线程代码中实现, 在进行mysql添加操作之后,开启一个线程,异步的去调用es的保存操作

缺点: 涉及到线程开销问题,不能显式的创建线程,需要用到线程池,同样存在事物问题

猜你喜欢

转载自blog.csdn.net/lp2388163/article/details/80633190
今日推荐