1.迁移的流程
数据通过Ogg抽取Oracle增量数据到苏州flume集群
在flume集群对数据脱敏
同步数据到kafka集群
在滨江数据拉取数据到hbase集群
优化
(1)可扩展性
保证没有单点性能问题,每个流程都是可扩展的。苏州flume集群,滨江kafka集群,滨江flume集群都是可以横行扩展的
(2)性能
保证数据能够更快的迁移到苏州集群,原先集群处理能力为1K/S,性能优化后提升到15K/S
(3)可靠性
保证数据在传输过程中不可丢,并且无单点问题。