一、为什么选择ES
搜索引擎中,主要考虑到ES支持结构化数据查询以及支持实时频繁更新特性:
二、总体系统架构
整个业务线使用服务化方式,ES集群和数据库分库,作为数据源被订单服务系统封装为对外统一接口;各前后台应用和报表中心,使用服务化的方式获取订单数据。
三、数据更新设计
ES数据更新有批量更新和实时更新两种:
1、手动更新为初始化数据,或者修复数据时使用
2、实时更新通过监控数据库订单表的binlog,进行实时同步
四、机器、索引、参数配置
五、索引结构图
六、机器性能选择
对于频繁更新一定要考虑到使用SSD
七、文档id选择
因为是订单数据,并且有频繁数据更新,所以我们选择自己指定的唯一id,具体对比如下:
八、实时更新数据方案
实时数据更新采用监听数据库binlog的方式实现:
九、数据一致性解决方案
不一致原因:
1、各域代码发布
2、网络延时
3、集群故障
4、vdp、vms丢数据
解决方案:
1、使用调度任务,每天对比三个月内每天的数据
2、如果存在数据不一致,自动批量同步当天数据
3、数据不一致,自动发送告警邮件
4、调度任务可随时手动终止
5、至今尚未出现不一致的情况