GoldenGate基本原理安装过程和基本维护

-目录一、GoldenGate介绍1二、GoldenGate安装实施42.1创立GoldenGate软件安装目录42.2 GoldenGate的管理用户42.3安装GoldenGate软件52.4设置数据库归档模式52.5翻开数据库的附加日志62.6开启数据库强制日志模式62.7创立GoldenGate管理用户62.8编辑GLOBALS参数文件72.9管理进程MGR参数配置72.10抽取进程E*TN参数配置82.11 传输进程DPEN参数配置92.12建立OGG的DDL对象102.13 数据初始化112.14 容灾端管理进程MGR参数配置132.15编辑GLOBALS参数文件142.16 容灾端复制进程REPN参数配置142.17创立复制进程repn152.18启动生产端传输进程和容灾端复制进程152.19测试场景16三GoldenGate根本运维命令16四、常见故障排除17一、GoldenGate介绍GoldenGate软件是一种基于日志的构造化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。GoldenGate能够支持多种拓扑构造，包括一对一，一对多，多对一，层叠和双向复制等等。GoldenGate根本架构Oracle GoldenGate主要由如下组件组成 E*tract Data pump Trails Collector Replicat ManagerOracle GoldenGate 数据复制过程如下：利用抽取进程(E*tract Process)在源端数据库中读取Online Redo Log或者Archive Log，然后进展解析，只提取其中数据的变化信息，比方DML操作增、删、改操作，将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trail file)中。再利用传输进程将队列文件(trail file)通过TCP/IP传送到目标系统。目标端有一个进程叫ServerCollector，这个进程承受了从源端传输过来的数据变化信息，把信息缓存到GoldenGate 队列文件(trail file)当中，等待目标端的复制进程读取数据。 GoldenGate 复制进程(replicat process)从队列文件(trail file)中读取数据变化信息，并创立对应的SQL语句，通过数据库的本地接口执行，提交到目标端数据库，提交成功后更新自己的检查点，记录已经完成复制的位置，数据的复制过程最终完成。二、GoldenGate安装实施2.1创立GoldenGate软件安装目录在数据库效劳器上创立文件系统：/u01/gg，作为GoldenGate的安装目录。2.2 GoldenGate的管理用户安装GoldenGate软件和维护GoldenGate软件时，可以使用系统上的oracle用户。GoldenGate安装目录的所有者必须是GoldenGate管理用户，本次实施过程中使用oracle用户作为GoldenGate管理用户，添加oracle用户的环境变量(在生产端和容灾端均要进展以下操作)：e*port GG_HOME=/u01/gge*port LD_LIBRARY_PATH=$GG_HOME:$ORACLE_HOME/lib:/usr/bin:/libe*port PATH=$GG_HOME:$PATH2.3安装GoldenGate软件切换到oracle用户，将GG软件的压缩包存放到GoldenGate安装目录下，即/u01/gg，将这个压缩包进展解压到GoldenGate安装目录下(在生产端和容灾端均要进展以下操作)：tar -z*vf *.gz 进入到GoldenGate安装目录，运行GGSCI命令以进入GG界面(在生产端和容灾端均要进展以下操作)：cd /u01/gg./ggsci在GGSCI界面下创立子目录(在生产端和容灾端均要进展以下操作)：GGSCIcreate subdirs至此，GoldenGate软件安装完毕。2.4设置数据库归档模式查看数据库的归档模式：SQLarchive log list;如果是非归档模式，需要开启归档模式：shutdown immediate;startup mount;alter database archivelog;alter database open;2.5翻开数据库的附加日志翻开附加日志并切换日志保证Online redo log和Archive log一致alterdatabase add supplemental log data ;alter database add supplemental log data (primary key, unique,foreign key) columns;alter system switch logfile;2.6开启数据库强制日志模式alter database force logging;2.7创立GoldenGate管理用户在生产端和容灾端均要进展以下操作：-create tablespaceSQLcreate tablespace ogg datafile $ORACLE_BASE/oradata/test/ogg01.dbf size 300M ;- create the user SQLcreate user ogg identified by ogg default tablespace ogg;- grant role privileges SQLgrant resource, connect, dba to ogg;2.8编辑GLOBALS参数文件切换到GoldenGate安装目录下，执行命令：cd /u01/gg./ggsciGGSCIEDIT PARAMS ./GLOBALS -指定进展DDL复制的数据库用户，DML可不配置在文件中添加以下容：GGSCHEMA ogg -指定的进展DDL复制的数据库用户CHECKPOINTTABLE ogg.checkpoint利用默认的密钥，生成密文：GGSCIencrypt password ogg encryptkey defaultEncrypted password: AACAAAAAAAAAAADAHBLDCCIIOIRFNEPB 记录这个密文，将在以下进程参数的配置中使用。2.9管理进程MGR参数配置PORT 7839DYNAMICPORTLIST 7840-7860-AUTOSTART*AUTORESTART E*TRACT *,RETRIES 5,WAITMINUTES 3PURGEOLDE*TRACTS ./dirdat/*,USECHECKPOINTS, MINKEEPDAYS 7LAGREPORTHOURS 1LAGINFOMINUTES 30LAGCRITICALMINUTES 45以下两句用于DDL,单独配置DML时，可不添加PURGEDDLHISTORY MINKEEPDAYS 11,MA*KEEPDAYS 14PURGEMARKERHISTORY MINKEEPDAYS 11, MA*KEEPDAYS 142.10 在目标端配置GoldenGate软件复制进程Dblogin userid ogg,password oggAdd checkpointtable ogg.checktable2.11抽取进程E*TN参数配置Add e*tract e*tn,tranlog,begin nowAdd e*ttrail ./dirdat/na,e*tract e*tn,megabytes 100E*TRACT e*tnsetenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)userid ogg, password AACAAAAAAAAAAADAHBLDCCIIOIRFNEPB, ENCRYPTKEY defaultREPORTCOUNT EVERY 1 MINUTES, RATEDISCARDFILE ./dirrpt/discard_e*tn.dsc,APPEND,MEGABYTES 1024DBOPTIONS ALLOWUNUSEDCOLUMNWARNLONGTRANS 2h,CHECKINTERVAL 3mE*TTRAIL ./dirdat/naTRANLOGOPTIONS E*CLUDEUSER OGG TRANLOGOPTIONS ALTARCHIVEDLOGFORMAT %t_%s_%r.dbfFETCHOPTIONS NOUSESNAPSHOTTRANLOGOPTIONS CONVERTUCS2CLOBSTRANLOGOPTIONS altarchivelogdest primary instance test /oradata/arch-TRANLOGOPTIONS RAWDEVICEOFFSET 0DYNAMICRESOLUTION以下两句是配置DDL需要：DDL INCLUDE ALLDDLOPTIONS addtrandata, NOCROSSRENAME, REPORT table QQQ.*;table CUI.*;2.11 传输进程DPEN参数配置Add e*tract dpen,e*ttrailsource ./dirdat/naAdd rmttrail ./dirdat/na,e*tract dpenE*TRACT dpenRMTHOST 192.168.56.7 , MGRPORT 7839, pressPASSTHRUnumfiles 50000RMTTRAIL ./dirdat/naTABLE QQQ.*;TABLE CUI.*;2.12建立OGG的DDL对象$ cd /u01/gg$ sqlplus / as sysdbaSQL marker_setup.sqlEnter GoldenGate schema name:oggalter system set recyclebin=off;SQL ddl_setup.sqlEnter GoldenGate schema name: oggSQL role_setup.sqlGrant this role to each user assigned to the E*tract, Replicat, GGSCI, and Manager processes, by using the following SQL mand:SQLGRANT GGS_GGSUSER_ROLE TO where is the user assigned to the GoldenGate processes.注意这里的提示：需要手工将这个GGS_GGSUSER_ROLE指定给e*tract所使用的数据库用户即参数文件里面通过userid指定的用户，可以到sqlplus下执行类似的sql:SQLGRANT GGS_GGSUSER_ROLE TO ogg;注：这里的ogg是e*tract使用的用户。如果你有多个e*tract，使用不同的数据库用户，则需要重述以上过程全部赋予GGS_GGSUSER_ROLE权限。运行以下脚本，使触发器生效：SQL ddl_enable.sql注：在生产端开启抽取前，先禁用DDL捕获触发器，调用ddl_disable.sql。2.13 数据初始化在初始化过程中，源数据库不需要停机，初始化过程分为三个局部： 生产端开启抽取进程； 生产端导出数据； 容灾端导入数据；在生产端添加抽取进程、传输进程以及相应的队列文件,执行命令如下：/创立进程 E*TN GGSCIadd e*tract e*tn,tranlog,begin nowGGSCIadd e*ttrail ./dirdat/na,e*tract e*tn,megabytes 500/创立进程 DPEN GGSCIadd e*tract dpen,e*ttrailsource ./dirdat/naGGSCIadd rmttrail ./dirdat/na,e*tract dpen,megabytes 500在生产端启动管理进程：GGSCI start mgr启用DDL 捕获trigger：$ cd /u01/gg$ sqlplus /as sysdbaSQL ddl_enable.sql在生产端启动抽取进程：GGSCI start E*TN在数据库中，获取当前的S号，并且记录这个S号：SQLselect to_char(dbms_flashback.get_system_change_number) from dual;603809在数据库中，创立数据泵所需目录并赋予权限：SQLCREATE OR REPLACE DIRECTORY DATA_PUMP AS /u01;SQLgrant read ,write on DIRECTORY DATA_PUMP to ogg;在生产端利用数据泵导出数据：e*pdp ogg/ogg schemas=QQQ directory=DATA_PUMP dumpfile=QQQ_bak_%Uflashback_s=123456789 logfile=e*pdp_QQQ.log filesize=4096me*pdp ogg/ogg schemas=CUI directory=DATA_PUMP dumpfile=CUI_bak_%Uflashback_s=123456789 logfile=e*pdp_ CUI.log filesize=4096me*pdp ogg/ogg schemas=test1 directory=DATA_PUMP dumpfile=test1_bak_%U flashback_s=603809 logfile=e*pdp_QQQ.log filesize=4096m把导出的文件传输到容灾端，利用数据泵将数据导入：Impdp ogg/ogg DIRECTORY=DATA_PUMPDUMPFILE=QQQ_bak_%U logfile=impdp_ QQQ.logImpdp ogg/ogg DIRECTORY=DATA_PUMPDUMPFILE=CUI_bak_%U logfile=impdp_CUI.log2.14 容灾端管理进程MGR参数配置PORT 7839DYNAMICPORTLIST 7840-7860-AUTOSTART ER *-AUTORESTART E*TRACT *,RETRIES 5,WAITMINUTES 3PURGEOLDE*TRACTS ./dirdat/*,usecheckpoints, minkeepdays 2userid ogg, password AACAAAAAAAAAAADAHBLDCCIIOIRFNEPB, ENCRYPTKEY default2.15编辑GLOBALS参数文件切换到GoldenGate安装目录下，执行命令：cd /u01/gg./ggsciggsciEDIT PARAMS ./GLOBALS在文件中添加以下容：GGSCHEMA ogg -指定的进展DDL复制的数据库用户2.16 容灾端复制进程REPN参数配置REPLICAT repnsetenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)userid ogg, password AACAAAAAAAAAAADAHBLDCCIIOIRFNEPB, ENCRYPTKEY defaultSQLE*EC ALTER SESSION SET CONSTRAINTS=DEFERREDREPORT AT 01:59REPORTCOUNT EVERY 30 MINUTES, RATEREPERROR DEFAULT, ABENDassumetargetdefsDISCARDFILE ./dirrpt/repna.dsc, APPEND, MEGABYTES 1024DISCARDROLLOVER AT 02:30ALLOWNOOPUPDATESREPERROR (1403, discard)DDL INCLUDE MAPPED DDLOPTIONS REPORTMAPE*CLUDE QQQ.T0417MAP QQQ.*, TARGET QQQ.*;MAP CUI.*, TARGET CUI.*;2.17创立复制进程repn 执行以下命令创立复制进程repn：GGSCIadd replicat repn, e*ttrail ./dirdat/na, nodbcheckpoint2.18启动生产端传输进程和容灾端复制进程GGSCIstart dpenGGSCIstart REPLICAT repn aftercsn 1234567892.19测试场景1在生产端数据库上，创立一表。2在生产端数据库上，修改这个表的数据。3在生产端数据库上，删除这表。三GoldenGate根本运维命令1查看进程状态GGSCIinfo all 查看GG整体运行情况，比方进程Lag延时，检查点延时。GGSCIinfo 查看*个进程的运行状况，比方抽取进程正在读取哪个归档日志或者联机重做日志，传输进程正在传送哪一个队列文件，复制进程正在使用哪一个队列文件。GGSCIinfo showch 查看*个进程运行的详细信息。2查看进程报告GGSCIview report 报错时，从进程报告里获取错误信息。3在操作系统上，查看GoldenGate安装目录的使用率$ df -h查看ogg目录是否撑满。四Logdump工具使用五Goldengate初级的性能优化BatchsqlInsert abend限制存使用颗粒度拆分六、goldengate版本升级七、goldengate双向复制八、生产库与容灾库之间的回切八、异构数据库之间的数据转换，数据过滤筛选 四、常见故障排除故障1错误信息：OGG-00446Could not find archived log for sequence 53586 thread 1 under alternative destinations. SQL . Last alternative log tried /arch_c*/1_53586_776148274.arc., error retrieving redo file name for sequence 53586, archived = 1, use_alternate = 0Not able to establish initial position for sequence 53586, rba 44286992.处理方法：将缺失的归档日志从备份中恢复出来。如果依旧找不到所需归档日志，则只能重新实施数据初始化。故障2错误信息：OGG-01154 Oracle GoldenGate Delivery for Oracle, repn.prm: SQL error 1691 mapping DATA_USER.DMH_WJ*B to DATA_USER.DMH_WJ*B OCI Error ORA-01691: unable to e*tend lob segment DATA_USER.SYS_LOB0000083691C00014$ by 16384 in tablespace DATA_USER_LOB_U128M_1 (status = 1691), SQL .处理方法：数据库中该表空间已满，需要对该表空间进展扩容。故障3错误信息：OGG-00664 OCI Error during OCIServerAttach (status = 12541-ORA-12541: TNS:no listener).处理方法：启动数据库的监听器。故障4错误信息：OGG-00665 OCI Error describe for query (status = 3135-ORA-03135: connection lost contactProcess ID: 8859Session ID: 131 Serial number: 31), SQL.处理方法：在没有关闭OGG进程的情况下，提前关闭了数据库，导致OGG进程出现异常。如果是发现了这个错误提示，应该马上关闭OGG进程，注意数据库的归档日志情况，保证归档日志不会缺失，然后等待数据库启动成功后，马上启动OGG进程。故障5错误信息：OGG-01161 Bad column inde* (4) specified for table QQQ.TIANSHI, ma* columns = 4.处理方法：对照一下生产端与容灾端的这一表的表构造，如果容灾端的表缺少一列，则在容灾端，登陆数据库，增加这一列，然后启动复制进程。故障6错误信息：ERROR OGG-00199 Table QQQ.T0417 does not e*ist in target database.处理方法：查看源端抽取进程的参数，DDL复制参数是否配置，针对这表，重新实施数据初始化。. z.