Oracle GoldenGate 调研

# 概述
Oracle GoldenGate 是一款用于实时数据集成和异构数据库复制的产品。它支持组织实现与分析系统的实时数据集成、无停机地迁移和整合到云架构、 从事务系统(内部和云)分流报告功能以实现最高性能、实施主动-主动数据库复制以实 现数据分布和持续可用性。


## 定位
- 零宕机时间数据库升级和迁移。
- 满足用户亚秒级实时数据的需求。
- 可持续的数据高可用性和实时商务智能。
- 异构平台及跨操作系统实时数据同步。

- 对源系统和目标系统是非侵入式的。

## 架构
和传统的逻辑复制一样，GoldenGate实现原理是通过抽取源端的redo log 或者archive log，然后通过TCP/IP投递到目标端，最后解析还原应用到目标端，使目标端实现同源端数据同步。

## 组件
- Manager进程: Manager进程运行在源端和目标端上,作用：启动、监控、重启GoldenGate的其他进程，报告错误及事件，分配数据存储空间，发布阈值报告等.
- Extract进程: 运行在数据库源端，负责从源端数据表或者日志中捕获数据。checkpoint机制,信息写入trail文件,实现断点续传.
- Pump进程: 运行在数据库源端,如果源端使用了本地的trail文件，那么Pump进程就会把trail以数据块的形式通过TCP/IP协议发送到目标端，这通常也是推荐的方式。与Pump进程相对应的叫做Server Collector进程,对用户透明,把Extract/Pump投递过来的数据块重新组装成trail文件.
- Trail文件: trail文件存在的目的旨在防止单点故障，将事务信息持久化，并且使用checkpoint机制来记录其读写位置，如果故障发生，则数据可以根据checkpoint记录的位置来重传。trail文件并不总是必须的。人们可以在配置Extract进程的时候通过TCP/IP协议直接把日志的信息投递到目标端(不推荐).
- Replicat进程: 运行在目标端，是数据传递的最后一站，负责读取目标端trail文件中的内容，并将其解析为DML或DDL语句，然后应用到目标源中。checkpoint机制.
- GGSCI: 提供了十分丰富的命令来对GoldenGate进行各种操作，如创建、修改、监控GoldenGate进程等。


## 复制模式
- “一对一”是GoldenGate最简单的一种模式，也是最常用的模式。这种模式的一种典型应用就是用于数据容灾，通常源端数据库为生产端，目标端数据库为容灾端。
- 另外一种应用场景是把源端的OLTP系统产生的交易日志传送到目标端，使用BI数据仓库或者是OLAP



## mysql to kafka installation
- 源端
    - 软件：ggs_Linux_x64_MySQL_64bit.tar
    - 配置环境变量
    ```json
    export MYSQL_HOME=<MySQL bin location>
    export GGS_HOME=/home/ec2-user/l3/gg
    export LD_LIBRARY_PATH=$GG_HOME:/usr/lib/jvm/jre-1.7.0-openjdk.x86_64/lib/amd64/server
    export PATH=$PATH:$GGS_HOME
    ```
    - ggsci
    - create subdirs
    - EDIT PARAMS MGR
    ```json
    PORT 7801
    AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3
    PURGEOLDEXTRACTS /home/hadoop/l3/gg/dirdat/*,usecheckpoints, minkeepdays 3
    ```
    - START mgr
    - INFO MANAGER/INFO ALL
    - EDIT PARAM ext_name
    ```json
    extract ext_l
    setenv (MYSQL_HOME="/usr/libexec/mysql55")
    tranlogoptions altlogdest /var/lib/mysql/mysql.index
    DBOPTIONS HOST localhost, CONNECTIONPORT 3306
    SOURCEDB test,USERID root, PASSWORD 123456
    RMTHOST 192.15.2.10, MGRPORT 7801
    gettruncates
    GETUPDATEBEFORES
    NOCOMPRESSDELETES
    NOCOMPRESSUPDATES
    RMTTRAIL ./dirdat/l3
    TABLE test.t_test;
    ```
    - ADD EXTRACT ext_l, TRANLOG, BEGIN NOW
    - ADD RMTTRAIL ./dirdat/l3 EXTRACT ext_l, MEGABYTES 5
    - start extract ext_l
    - info extract ext_l, detail
    - view report ext_l
    - edit param pump_l (可选)
    ```json
    rmthost 192.15.2.10,mgrport 7801
    rmttrail /usr/local/ogg/ogg/dirdat/WC
    passthru
    gettruncates
    table test.t_test;
    ```
    - start pump_l 
    - 查看日志：GoldenGate安装目录下: ggserr.log


- 目标端
    - 软件: OGG_BigData_Linux_x64_12.3.2.1.0.tar,kafka_2.12-0.10.2.1
    - 配置环境变量
    ```json
    export MYSQL_HOME=<MySQL bin location>
    export GGS_HOME=/home/ec2-user/l3/gg
    export LD_LIBRARY_PATH=$GG_HOME:/usr/lib/jvm/jre-1.7.0-openjdk.x86_64/lib/amd64/server
    export PATH=$PATH:$GGS_HOME
    ```
    - kafka创建topic:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic t_test
    - 查看topic: bin/kafka-topics.sh --list --zookeeper localhost:2181
    - 消费topic: bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic t_test --from-beginning
    - ggsci
    - create subdirs
    - EDIT PARAMS MGR
    ```json
    PORT 7801
    AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3
    PURGEOLDEXTRACTS /home/hadoop/l3/gg/dirdat/*,usecheckpoints, minkeepdays 3
    ```
    - START mgr
    - INFO MANAGER/INFO ALL
    - EDIT PARAM rep_name
    ```json
    REPLICAT rep_l
    TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka.props
    REPORTCOUNT EVERY 1 MINUTES, RATE
    GROUPTRANSOPS 10000
    MAP test.t_test, TARGET test.t_test;
    ```
    - add replicat rep_l, exttrail ./dirdat/l3
    - start replicat rep_l
    - info rep_l/info all
    - 查看日志：GoldenGate安装目录下: ggserr.log
    - vim dirprm/kafka.props
    ```json
    gg.handlerlist=kafkahandler
    gg.handler.kafkahandler.type=kafka
    gg.handler.kafkahandler.KafkaProducerConfigFile=custom_kafka_producer.properties
    gg.handler.kafkahandler.topicMappingTemplate=t_order_action
    gg.handler.kafkahandler.keyMappingTemplate=${currentTimestamp}
    gg.handler.kafkahandler.format=delimitedtext
    gg.handler.kafkahandler.format.fieldDelimiter=|
    gg.handler.kafkahandler.SchemaTopicName=tpcSchemaTopic
    gg.handler.kafkahandler.BlockingSend=false
    gg.handler.kafkahandler.includeTokens=false
    gg.handler.kafkahandler.mode=op
    goldengate.userexit.timestamp=utc
    goldengate.userexit.writers=javawriter
    javawriter.stats.display=TRUE
    javawriter.stats.full=TRUE
    gg.log=log4j
    gg.log.level=INFO
    gg.report.time=30sec
    gg.classpath=dirprm/:/home/hadoop/kafka_2.12-0.10.2.1/libs/*
    javawriter.bootoptions=-Xmx512m -Xms32m -Djava.class.path=ggjava/ggjava.jar
    ```
    - vim dirprm/custom_kafka_producer.properties
    ```json
    bootstrap.servers=localhost:9092
    acks=1
    compression.type=gzip
    reconnect.backoff.ms=1000
    value.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
    key.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
    batch.size=102400
    linger.ms=10000
    ```
    - edit param ./GLOBALS
    - start replicat ext_l