#命名规范： local==> l remote==> r extract==> x data pump==> p source Trail==>st Remote Trail==>rt -------------------------- #《《源数据库orcl》》 Extract:将重做日志信息抽取存放到本地exttrail文件中 0.开启附加日志功能,开启强制日志模式;强烈建议源端每个涉及复制的表上建立主键或者唯一键 SQL> alter database force logging; SQL> alter database add supplemental log data; #数据库最小级别开启 SQL> create tablespace ggs datafile size 200M autoextend on; SQL> create user ggs identified by ggs; SQL> grant dba to ggs; GGSCI> add trandata schema.<tablename> #表别级别开启,给需要复制的表添加 GGSCI> info trandata schema.<tablename> #查看附加信息 相关附加日志参数: 注意: 每小时日志量评估 select trunc(completion_time),count(*)*100 size_in_MB from v$archived_log group by trunc(Completion_time); 1.安装OGG mkdir /goldengate tar xf ogg.tar -C /goldengate #ogg.tar为软件名 chown -R oracle:oinstall /goldengate cat>>/home/oracle/.bash_profile<<'EOF' export GG_HOME=/goldengate export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$LD_LIBRARY_PATH alias ggsci='ggsci $GG_HOME/ggsci' EOF 2.创建子目录,编辑MGR GGSCI>create subdirs GGSCI>edit param mgr 添加下面端口 port 7809 AUTORESTART ER *, RETRIES 3, WAITMINUTES 5, RESETMINUTES 60 PURGEOLDEXTRACTS /goldengate/dirdat/*,USECHECKPOINTS,MINKEEPHOURS 24 #/goldengate/dirdat/*为抽取日志存放位置 3.定义本地抽取参数文件 GGSCI(Hostname) 1>edit param lxjack extract lxjack ------------------------------------------------ -- local extract for schema -- Author: vmsysjack -- Created Date: 2020-02-10 ------------------------------------------------ SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK) #和源系统一致select * from v$nls_parameters where parameters like '%NLS_CHARACTERSET%'; USERID ggs@orcl,password ggs #定义连接抽取源的用户名和密码以及tns,orcl为源库的TNS名 ExtTrail dirdat/st #定义抽取重做日志信息存储地点；将会在$GG_HOME/dirdat/下生成st开头文件 Table schema.tablename; #定义需要抽取的“模式.表名” 注意：当密码使用加密方式的时候，需要使用使用encryptkey default 例如： 1. 生成密文 encrypt password ggs encryptkey default 2.将第一步生成的密文应用 userid ggs,password AAAAAAAAAAAAAAAAACCCCCSGSADGSDGWOXCJKLSJL,encryptkey default 4. 创建extract进程 GGSCI(HOSTname) 1> add extract lxjack,threads 2,tranlog,begin now #RAC源需要配置 ,threads 2表示有2个节点,单节点不用加threads 2 GGSCI(Hostname) 2> add exttrail dirdat/st,extract lxjack,megabytes 100 #添加抽取源文件位置和大小 注意:当在操作系统删除了exttrail文件后,启动会报 PROCESS ABENDING,使用下面方法解决 (1). GGSCI>delete exttrail dirdat/st* #我这里是测试环境,只有一个文件 (2). GGSCI>add exttrail dirdat/st,extract lxjack 5. 启动extract进程,验证extract进程 GGSCI(Hostname) 3> start extract lxjack GGSCI(Hostname) 4> info extract lxjack # l=>local; x=>extract; GGSCI(Hostname) 5> info extract lxjack,showch GGSCI(Hostname) 5> info extract lxjack,detail 6. 验证抽取数据 GGSCI(Hostname) 5> stats extract lxjack #再重新开启一个终端，执行DML语句,使用stats extract lxjack查看 注意: 级联更新带来的问题 级联更新的触发器等对象存在,对于目标数据库系统上应该关闭或者禁用掉目标 数据库上的触发器和级别约束;使用如下语句: SQL> alter table ... disable contraint ... SQL> alter trigger ... disable ... 或者使用下面语句:需要数据库版本是10.2.0.5或11.2.0.2之后版本 DBOPTIONS suppresstriggers 配置DataPump: 本质上是一个Extract Group，需要参数文件，参数文件名字和这个extract group的组名一样。 参数中需要配置SourceTrail文件在哪里，以及发送的目标系统在哪里 1.定义参数文件 GGSCI(Hostname) 1>edit param lpjack # l=>local; p=>pump extract lpjack ------------------------------------------- -- Data Pump extract for schema.tablename -- Author: vmsysjack -- Created Date: 2020-02-10 -------------------------------------------- Uerid ggs@orcl,password ggs PassThru #透传模式，源表和目标数据库表完全一样,源表与目标表不一致的时候需要用NoPassThru RmtHost 目标主机ip地址,Mgrtort 目标主机mgr进程端口 #定义连接远端主机和端口 RmtTrail dirdat/rt #定义Remote Trail文件的文件名前缀，r=>remote;表示传递到远端的位置 Table schema.tablename; #传递的表名 2. 创建Data Pump进程 GGSCI(Host) 1> add extract lpjack,exttrailsource dirdat/st #定义DataPump进程名，以及需要抽取的源trail文件位置dirdat/st GGSCI(Host) 2> add rmttrail dirdat/rt,extract lpjack,megabytes 100 #定义增加远程trail文件位置和远程trail文件大小 3. 启动Data Pump进程,验证Data Pump进程,统计抽取进程数据 GGSCI(Host) 3> start extract lpjack GGSCI(Host) 4> info extract lpjack GGSCI(Host) 5> stats extract lpjack ##《《目标数据库vmsys》》 0.创建目标数据库需要的表空间和用户 SQL> create tablespace ggt datafile size 200M autoextend on; SQL> create user ggt identified by ggt; SQL> grant dba to ggt; 1.创建全局参数文件,登录目标数据库，创建检查点表 注意:检查点表作为事务处理的一部分,可以有更好的恢复能力,有共用和专用两种做法 共用: 所有的replicate共用一个 专用: 每个replicate独立创建一个 GGSCI(Hostname) 1> edit param ./GLOBALS #需要执行GGSCI，在GG_HOME目录下 GGschema ggt #指定存储架构,此行也可以不写 checkpointtable ggt.chkpt #存储在ggt用户模式下 GGSCI(Hostname) 2> dblogin userid ggt@vmsys,password ggt #vmsys为目标数据库网络服务名 2. 从数据库层面检查检查点文件 SQL> show user; --当前还未增加检查点文件 USER is "ggt" SQL> select table_name from user_tables; --ggt模式下没有表 no rows selected GGSCI(Hostname) 3> add checkpointtable --增加检查点表文件 GGSCI(Hostname) 4> info checkpointtable SQL> conn ggt/ggt #ggt为目标数据库创建的用户,即目标数据库登录GGSCI使用的用户 SQL> desc chkpt SQL> desc chkpt_lox SQL> show user; USER is "ggt" SQL> select table_name from user_tables; TABLE_NAME ------------------------------ CHKPT_LOX CHKPT SQL> desc chkpt_lox; Name Null? Type ----------------------------------------- -------- ---------------------------- GROUP_NAME NOT NULL VARCHAR2(8) GROUP_KEY NOT NULL NUMBER(19) LOG_CMPLT_CSN NOT NULL VARCHAR2(129) LOG_CMPLT_XIDS_SEQ NOT NULL NUMBER(5) LOG_CMPLT_XIDS NOT NULL VARCHAR2(2000) SQL> desc chkpt; Name Null? Type ----------------------------------------- -------- ---------------------------- GROUP_NAME NOT NULL VARCHAR2(8) GROUP_KEY NOT NULL NUMBER(19) SEQNO NUMBER(10) RBA NOT NULL NUMBER(19) AUDIT_TS VARCHAR2(29) CREATE_TS NOT NULL DATE LAST_UPDATE_TS NOT NULL DATE CURRENT_DIR NOT NULL VARCHAR2(255) LOG_CSN VARCHAR2(129) LOG_XID VARCHAR2(129) LOG_CMPLT_CSN VARCHAR2(129) LOG_CMPLT_XIDS VARCHAR2(2000) VERSION NUMBER(3) SQL> 注意: replicate级别增加checkpointTable方式: GGSCI> add replicat rejack,exttrail /goldengate/dirdat/vmsys/rt,checkpointTable ggt,rejackcht --专有级别创建检查点文件,每个replicat都需要创建一个,各个replicate各自使用; 通过发现这种方式不会自动生成检查表,还是需要手工建立 create table rejack as select * chkpt where 0=1; create table rejack_lox as select * chkpt where 0=1; 开始数据加载..... ..... ..... 当源表之前有数据的时候,需要通过exp,imp(impdump,expdump)存放到目标中 ..... 配置Replicat进程 1. 定义replicat参数文件 GGSCI(Hostname) 1> edit param rejack #e=>replicat replicat rejack -------------------------------------------- -- replicat for jack.a -- author: vmsysjack -- Created Date: 2020-02-10 -------------------------------------------- SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK) USERID ggt@vmsys,password ggt #vmsys为目标表的TNS HandleCollisions #处理冲突的数据,只能在数据初始化期间使用，后续不能使用这个处理冲突 AssumeTargetDefs #源数据表与目标数据库同步的表定义相同时候用此参数,不可以与sourcedefs参数文件同用 Map jack.*,Target jack.*; 2. 创建replicat进程 GGSCI(Hostname) 1> add replicat rejack,exttrail dirdat/rt 3. 启动replicat进程 GGSCI(Hostname) 2> start replicat rejack 4. 查看并验证replicat GGSCI(Hostname) 3> info replicat rejack GGSCI(Hostname) 4> stats replicat rejack =================================================================== 一. 表过滤 1. extract端： Table schema.tablename 2. replicat端： Map srcSchema.tablename,Target dstSchema.tablename 二. 列过滤： 只用抓取或者只复制指定的列，不是所有的列 1. extract端： Table schema.tablename COLS(cola,colb.....); 注意： 列过滤不可以使用passthru 2. 使用colsExcept 抓取除了列出来的列之外的所有列 Table schema.tablename colsExcept(colx); 三. 行过滤： 只复制满足条件的行，分为两种类型（Complex和Non-Complex） 1. Non-Complex类型:非复杂类型；只能根据行过滤，支持@present,@absent,@null 1). extract端 Table schema.tablename,where (id<100); 2). replicat端 Map schema.tablename,Target schema.tablename,where (id<100); 2. Complex类型：复杂类型，支持各种GG函数，还可以安装操作类型过滤(filter实现) for example: 2.1) 发生在id<100记录上的delete操作语句 Map schema.tablename,Target schema.tablename,filter (on delete,id<100); 2.2) 只捕获id<100的记录 Map schema.tablename,Target schema.tablename,filter (id<100); 2.3) 只捕获更新，删除操作，以及id<100的记录 Table schema.tablename,filter (on delete,on update,id>100); 2.4）列Name中有zhang字样的 Table schema.tablename,Filter (@StrFind(name,'zhang')>0) 2.5）函数计算的结果大于120000 Table schema.tablename,Filter (@compute((salary-tax)*12)>120000) 四. 数据映射，既可以在源端进行，也可以在目标端进行 #extract端配置样例1： extract lxjack SETENV (ORACLE_SID=orcl) USERID ggs,PASSWORD ggs ExtTrail ./dirdat/sx TranLogOptions ExcludeUser(username) Table sometable; #extract端配置样例2： extract lxjack SETENV (ORACLE_SID=orcl) USERID ggs,PASSWORD ggs ExtTrail ./dirdat/sx TranLogOptions ExcludeUser(username) Table src.serviceChange,Target tgt.serviceChareg_DIM, #源表与目标表做映射 colMap(UseDefaults,ID=ServiceChareg_id,modified_at=Timeap); #usedefaults没有明确指出的列在两边都是相同的；需要映射的列需要在usedefaults后面表示出来。 #replicat端配置样例3： replicat lrlog5 SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK) SETENV (ORACLE_SID=vmsys) UserId ggt,password ggt HandleCollisions SourceDefs dirdef/smsg_logs.defs #此文件需要定义文件 Map jack.smsg_logs,Target jack.smsg_logs, ColMap(UseDefaults,owner="zhangsan") #在列映射中给这个列加上一个初始值；每当源表中插入新记录，这个新记录复制到目标数据表后，owner字段会被自动赋值为zhangsan #replicat端映射配置样例： 1). 当源表与目标表结构一致，在replicat参数文件中使用AssumeTargetDefs参数，代表两端结构一致。 2). 当源表与目标表结构不一致，需要映射,映射语句： Map schema.tablename,Target schema.tablename,Colmap (UseDefaults,cola=cola); -------------------------------------------------------------------------------------------------- 需要哪一个数据库的数据定义文件，取决于映射操作是在哪里进行的，如果在目标端(replicat)完成映射，需要在源数据库定义文件，然后将生成的文件复制到目标数据库上，最后在replicat参数文件中引用它； 如果在源端(extract)完成映射，就反过来。 1.创建数据定义文件： GGSCI(Hostname) 1> edit params defgen DefsFile ./dirdef/rejackt2.defs #用未来要引用这个定义文件的replicat组名字来命名 UserId ggs,Password ggs Table schema.tablename; 2.将定义文件使用工具生成定义文件： ./defgen paramfile dirtrm/defgen.prm 3.将第二步生成的defgen.prm复制到另外一台机器的$GG_HOME/dirdef文件夹中 4.修改参数 4.1）注释文本-->>AssumeTargetDefs 增加文本-->>SourceDefs dirdef/rejackt2.defs ----------------------------- colmap(Usedefaults,owner="liulingfeng",ab=) 目标表有一列为空应该将这列写最后 colmap(Usedefaults,ab=,owner="liulingfeng") 目标表一列为空这种写法是错误的 AssumeTargetDefs 当能够通过colmap实现和源结构一致的情况下可以使用此参数,前提要表的结构一致 定义文件用于当源表和目标表不一致的情况下.可以使用. -------------------------------------------------------------------------- 1. 设置Trail文件的删除策略： 将下面的参数写入到Manager进程的参数文件中 PurgeOldExtracts /ggs/dirdat/sa*, UseCheckpoints, --使用检查点 MinKeepHours 1; --即使检查点确认了删除后，还保留一个小时 FrequencyMinutes 30; --清理动作的频率为30分钟一次 2. 数据压缩 GG提供了数据压缩功能，对于低带宽的网络是有意义的，当设置了压缩，目标端Collector进程会自动的进行解压缩操作，然后写入Remote Trail文件中；数据的最大压缩比例可以达到5:1,默认数据不压缩。 例如： Extract lpjack PassThru RmtHost dstIP,Mgrtort 7809,Compress,CompressThreshold 2048 #compressThreshold 2048 为压缩的最小数据块单位大小 RmtTrail dirdat/rs Table schema.tablename; -------------------------------------------------------------------------- 1. 执行存储过程 Map source_table,Target target_table, SQLEXEC (SPNAME spanme,PARAME (in_paraml=cola)), #SPNAME指定存储过程名字，PARAMS参数定义的是IN参数和列的映射关系 COLMAP (Usedefaults,coln=@GETVAL(spname,out_paramn)); select name,value from v$diag_info; #获取跟踪诊断的相关信息 select * from v$pwfile_users; #获取授予sysdba权限的用户
OGG配置参数样例
猜你喜欢
转载自www.cnblogs.com/vmsysjack/p/12426867.html
今日推荐
周排行