Oracle GoldenGate指南

一.Introduction to Oracle GoldenGate 简介
(一)Oracle GoldenGate
  Oracle GoldenGate支持在事务级别跨多个异构平台之间交换和操作数据。它的模块化体系结构使您能够灵活地提取和复制选定的数据记录、事务更改以及DDL的更改。

  通过这种灵活性,以及Oracle GoldenGate的过滤、转换和自定义处理特性,您可以支持许多业务需求:
  ●业务连续性和高可用性。
  ●初始加载和数据库迁移。
  ●数据集成。
  ●决策支持和数据仓库。


(二)Oracle GoldenGate组成组件
  1. Extract(提取)
  初始化数据:直接从源对象中提取当前数据集。变更同步:inserts, updates, and deletes, DDL changes and sequences。提取数据通过数据库恢复日志或者事务日志,具体依靠什么还要看数据库类型,还支持第三方捕获。
  2. Data pump(数据泵)
  第二中提取方式,防止网络和目标故障对作业影响,可分阶段,多个源到一个目标,一个源到多个目标。
  3. Replicat(复制)
  分为初始化数据和变更同步,可以将多个复制进程与多个提取进程并行使用,以增加吞吐量。使用本地数据库接口或ODBC.
  4.Trails or extract files(跟踪和提取文件)
  将捕捉到的更改临时存储在磁盘上的一系列文件中,跟踪可以存在于源或目标系统上,也可以存在于中介系统上,这取决于您如何配置Oracle GoldenGate。跟踪的使用还允许提取和复制活动彼此独立地进行。

  只有一个提取进程可以写入跟踪。跟踪文件由数据泵和复制进程读取。跟踪文件默认10M大小。默认情况下,跟踪文件存储在Oracle GoldenGate的dirdat子目录中。当处理一次运行时,生成提取文件,不生成跟踪文件。
  5.Checkpoints(检查点)
  检查点将进程的当前读和写位置存储到磁盘,以便进行恢复。这些检查点确保标记为同步的数据更改实际上是由Extract提取并且Replicat复制的,它们可以防止冗余处理。

  支持系统、网络、进程重启的。对于复杂的同步配置,检查点允许多个提取或复制进程从同一组轨迹读取数据。检查点信息保存在Oracle GoldenGate目录下dirchk子目录下的检查点文件中。
  6.Manager(进程控制)
  监视并重启Oracle GoldenGate进程。问题阈值报告,例如当吞吐量降低或同步延迟增加时。维护跟踪文件和日志。分配数据存储空间。报告错误和事件。接收和路由来自用户界面的请求。
  7.Collector(收集器)
  目标系统后台进程。Collector接收经过TCP/IP网络发送的提取的数据库更改,并将它们写入一个跟踪或提取文件。通常,当需要网络连接时,Manager会自动启动收集器。

  当Manager启动Collector时,该进程称为动态收集器,Oracle GoldenGate用户通常不与它交互。但是,您可以手动运行Collector。这就是所谓的静态收集器。并非所有Oracle GoldenGate配置都使用收集器进程。


二、Configuring the Manager process 配置管理进程
  每个Oracle GoldenGate安装都有一个管理器。一个管理器可以支持多个Oracle GoldenGate提取和复制过程。
(一)配置:
  1.从Oracle GoldenGate目录下,运行ggsci程序,打开Oracle GoldenGate软件命令接口
  2.执行EDIT PARAMS MGR 编辑参数文件
  3.PORT <port_number> 指定端口号 默认7809
  4.输入不同平台参考指南中记录的可选管理器参数,然后保存并关闭该文件。
(二)启动:
  1.命令行启动 mgr paramfile <param file> [reportfile <report file>]
  2.通过GGSCI (Oracle GoldenGate Command Interface)启动,START MANAGER
(三)停止:
  管理进程停止其他进程无法启动。
  1.UNIX, Linux,GGSCI中执行,STOP MANAGER [!]
  2.Windows停止服务
  3.在Windows集群中,只能通过使用集群管理员使管理器资源脱机来停止管理器。
  4.在UNIX或Linux集群参考文档
三、Getting started with Oracle GoldenGate 开始使用
  使用下列任何一种方法来控制和监视处理过程
(一)运行用户界面
  1.GGSCI
  2.Oracle GoldenGate Director
  3.批处理和shell脚本
(二)使用参数文件
  大多数Oracle GoldenGate功能是通过参数文件中指定的参数来控制的。参数文件是由相关进程读取的ASCII文件。Oracle GoldenGate使用两种类型的参数文件:全局参数文件和运行时参数文件。
四、Using Oracle GoldenGate for live reporting 进行实时报告
五、Using Oracle GoldenGate for real-time data distribution 进行实时数据分发
六、Configuring Oracle GoldenGate for real-time data warehousing 实时数据仓库
七、Using Oracle GoldenGate to maintain a live standby database 维护实时备用数据库
八、Using Oracle GoldenGate for active-active high availability 实现高可用性
九、Configuring Oracle GoldenGate security 配置Oracle GoldenGate安全性
十、Creating a data-definitions file 创建数据定义文件
十一、Configuring online change synchronization 配置在线同步
十二、Configuring change synchronization as a batch run 配置批处理变更同步
十三、Configuring DDL synchronization for an Oracle database 配置DDL同步针对Oracle数据库
十四、Running an initial data load 运行初始数据加载
(一)Loading data with a database utility
  使用数据库工具将备份还原,根据备份时间确认OGG同步多时间点
(二)Loading data from file to Replicat
(三)Loading data from file to database utility
(四)Loading data with an Oracle GoldenGate direct load
(五)Loading data with a direct bulk load to SQL*Loader
(六)Loading data with Teradata load utilities
(七)初始加载准备
  1.禁用DDL进程
  2.准备目标表
  3.配置管理进程
  4.创建数据定义文件
  5.创建变更同步用户组
  6.共享参数文件
十五、Mapping and manipulating data 映射和操作数据
所有数据选择、映射和操作都是通过使用表和映射参数的选项来完成的。在提取参数文件中使用TABLE,在Replicat参数文件中使用MAP。
  十六、Customizing Oracle GoldenGate processing 定制Oracle GoldenGate进程
十七、Monitoring Oracle GoldenGate processing 监控Oracle GoldenGate进程
十八、Oracle GoldenGate record format Oracle GoldenGate记录格式

猜你喜欢

转载自www.cnblogs.com/yangjn/p/11850077.html