OGG进程配置

GoldenGate的定位

本人准备了两台虚拟机，进行ogg配置的模拟测试，分别为：

192.168.213.131：目标端

192.168.213.132：源端

Oracle GoldenGate 基于读取数据库的交易日志提供了快速的异构数据库之间的复制功能。在GOLDEN GATE12C中提供了INTEGRATED REPLICAT的全新的复制方式（由于我使用的测试数据库环境为Oracle 11.2.0.1.0，不支持INTEGRATED方式）。

在INTEGRATED CAPTURE的模式下，GoldenGate 的抽取进程直接与数据库的日志服务器进行交互读取数据库的REDO日志并且使用Logical Change Records(LCRs) 的方式来捕捉数据的改变。LCRs 被写到GoldenGate的trail文件中。

在配置过程中，需要在数据库中创建以下用户并赋予相应权限.

• ogguser - Password: ogguser. GoldenGate用户，这个用户需要具有管理员权限。并且需要进行复制的目标不包括在这个用户的SCHEMA下。GoldenGate使用这个用户进行从源端的SCHEMA到目标端的SCHEMA进行复制。
• oggsrc - Password: oggsrc.源端端SCHEMA.这个用户只具有CONNECT 和 RESOURCE 的权限。它的SCHEMA定义了所有需要复制的源端的对象。
• oggtrg - Password: oggtrg.目标端SCHEMA.这个用户只具有CONNECT 和 RESOURCE 的权限。它的SCHEMA定义了所有需要复制的目标端端的对象。

* 管理用户需要设置dba权限

create user ogguser identified by ogguser;

grant dba to ogguser;

保证数据库是为ARCHIVELOG模式

1.       以管理员的身份登录数据库之后，确认数据库是否运行在ARCHIVELOG模式下

Select log_mode FROM v$database;

2.       如果不是归档模式，则开启数据库归档模式并重启数据库

shutdown immediate

startup mount

ALTER DATABASE ARCHIVELOG;

ALTER DATABASE OPEN;

备注：ORACLE12C在重启之后还要对PDB进行重新启动操作。

3.       检查数据库是否为归档模式

Select log_mode FROM v$database;

至此，数据库已是归档模式。

开启数据库的SUPPLEMENTAL LOG DATA功能

SQL> ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
Database altered.
SQL> ALTER DATABASE FORCE LOGGING;
Database altered.
SQL> ALTER SYSTEM SWITCH LOGFILE;
System altered.
SQL> SELECT supplemental_log_data_min, force_logging FROM v$database;
SUPPLEME FORCE_LOGGING
-------- ---------------------------------------
YES	 YES

确保REDO和ARCHIVELOG包含SUPPLEMENTAL LOG数据，通过以下命令转换日志

SQL> ALTER SYSTEM SWITCH LOGFILE;
System altered.

创建用户表空间、用户、赋予权限、用户表（分别创建源端及目标端对应的信息）

1. 创建用户表空间

源端：

SQL> create tablespace srcdata datafile 'C:\app\LeBron\oradata\orcl\srcdata01.dbf'size 50M autoextend on extent management local uniform size 256k;

目标端：

create tablespace trgdata datafile 'C:\app\Administrator\oradata\orcl\trgdata01.dbf'size 50M autoextend on extent management local uniform size 256k;

2. 创建用户并赋予相应表空间及权限信息

分别创建oggsrc 和oggtrg数据库用户，默认的表空间分别为上面创建的SRCDATA和TRGDATA，这两个用户只需要CONNECT和RESOURCE这两个权限。ORACLE 12C把unlimited quota这个权限从RESOURCE这个角色中移除了，所以在ORACLE 12C中必须将unlimited quota赋予用户：

SQL> create user OGGSRC identified by oggsrc default tablespace SRCDATA temporary tablespace TEMP;
User created.
SQL> grant CONNECT, RESOURCE to OGGSRC;
Grant succeeded.
SQL> alter user OGGSRC quota unlimited on SRCDATA;
User altered.

目标端：

SQL> create user OGGTRG identified by oggtrg default tablespace TRGDATA temporary tablespace TEMP;
User created.
SQL> grant CONNECT, RESOURCE to OGGTRG;
Grant succeeded.
SQL> alter user OGGTRG quota unlimited on TRGDATA;
User altered.

3. 创建用户测试表

源端：

SQL> conn oggsrc/oggsrc;
已连接。
SQL> create table user_info(
  2   id number not null,
  3   name varchar2(32) not null,
  4   age number(2),
  5   gender char(1),
  6   create_time date,
  7   PRIMARY KEY (id)
  8  );

表已创建。

SQL>

目标端：

SQL> conn oggtrg/oggtrg;
已连接。
SQL> create table trg_user_info(
  2   yid number not null,
  3   uname varchar2(32) not null,
  4   age number(2),
  5   gender char(1),
  6   create_time date,
  7   PRIMARY KEY (id)
  8  );

表已创建。

SQL>

准备OGG配置环境

配置Manager（源端、目标端）

1.    分别在源端和目标端设置系统环境变量LD_LIBRARY_PATH，一定要指向${ORACLE_HOME}/lib文件夹，在启动GGSCI之前要确保这个环境变量妥善的设置。

2.  进入到OGG的安装目录中启动GGSCI程序.

3.    配置ogg管理进程

（1）看进程是否起来

GGSCI (source) 1> info mgr
Manager is running (IP port ologg.example.com.7809, Process ID 17583).

（2）如果进程启动，关掉

GGSCI (source) 1> stop mgr 

（3）配置管理进程（源端）

在源端的GGSCI中，用edit params mgr编辑MANAGER的参数文件。首先指定MANAGER使用的TCP/IP端口,要求清除以前的抽取数据，当MANAGER启动时自动启动所有的抽取进程。最后是每分钟尝试1次重启停止的任务，共三次。

GGSCI(source) 2>edit param mgr
PORT 7809
DynamicPortList 20000-20099
PurgeOldExtracts ./dirdat/*, UseCheckPoints, MinKeepHours 2
Autostart Extract E*
AUTORESTART Extract *, WaitMinutes 1, Retries 3

在windows中执行edit param xxx 命令，会弹出记事本编辑的prm进程配置，我们在记事本中写入进程配置信息，然后保存关闭即可。

配置管理进程（目标端）

在目标端同样打开GGSCI，将同样的参数添加到MANAGER的参数中。需要注意的是，在源端为EXTRACT的参数，在目标端，需要改变成REPLICAT.

GGSCI(target) 2>edit param mgr
Port 7809
DynamicPortList 20100-20199
PurgeOldExtracts ./dirdat/pe*, UseCheckPoints, MinKeepHours 2
Autostart Replicat R*
AUTORESTART Replicat *, WaitMinutes 1, Retries 3
ACCESSRULE, PROG *, IPADDR 192.168.213.*, ALLOW        -- (12c 新特性)

注：有时候在执行edit param mgr 命令时会报错

这是由于我们没有创建必要的目录造成的。我们可以手动去新建目录，也可以直接在ggssci命令行中执行命令创建：

GGSCI(source) 2> create subdirs

（4）启动管理进程

在源端和目标端都重启MANAGER进程，使MANAGER重新读取参数。view ggsevt查看告警日志信息。

GGSCI (source) 6> start mgr 

配置无密码登录（可选）

1.     在源端的GGSCI中，创建一个WALLET，添加一个CREDENTIAL STORE,然后将用户的账号密码加入到OGGUSER中。

GGSCI 7> Create Wallet
Created wallet at location 'dirwlt'.
Opened wallet at location 'dirwlt'.
GGSCI 8> Add CredentialStore
Credential store created in ./dircrd/.
GGSCI 9> Alter CredentialStore Add User ogguser@orcl
Password ogguser Alias ogguser@orcl
Credential store in ./dircrd/ altered.
GGSCI 10> Info CredentialStore
Reading from ./dircrd/:
Domain: OracleGoldenGate
Alias: ogg_user@orcl
Userid: ogguser@orcl

2.     确认可以使用别名登陆数据库

GGSCI 8> DBLogin UserIDAlias ogguser@orcl

当然，我们也可以不配置免密码登录，直接使用账号+密码的方式登录。

GGSCI 9> DBLogin UserID ogguser, password ogguser

使用OGG的ADD TRANDATA选项

在源端数据库中必须对特定表开启SUPPLEMENTALLOGGING选项。在实时的数据抽取之前，当行发生变化时，ORACLE数据库必须记录表的关键值，OGG才能在REDO中发现这些操作。在默认情况下，日志只会记录列值的变化。所以这个操作是OGG定位到正确行来进行更新和删除动作所必须的。

选择源端的GGSCI窗口，并登录数据库：

GGSCI 9> DBLogin UserID ogguser, password ogguser

在成功登陆数据库之后，对所有OGG要使用的表使用ADDTRANDATA命令：

Add TranData 用户.表名  【*代表所有表】

GGSCI 13> Add TranData oggsrc.user_info

GGSCI 14> info TranData oggsrc.user_info

使用经典(Classic )模式   对数据抽取Extract进行配置 

由于Oracle11.2.0.1.0 不支持集成（integrated）模式，所以这里使用经典模式。

在源端配置抽取进程：

1.    选择源端GGSCI来创建主要的Extract参数文件

GGSCI 10> edit param einta【备注，einta是自定义的抽取进程名称】

 

Extract einta

SETENV (ORACLE_SID='orclcn')

userid ogguser@orcl,password ogguser --【ogg管理用户】,也可以使用别名登录：useridalias ogguser@orcl

TranlogOptions IntegratedParams (max_sga_size 256) -- 一体化

Exttrail  ./dirdat/in

LOGALLSUPCOLS

UPDATERECORDFORMAT COMPACT

Table schema.用户名.表名;

Table schema.用户名.表名;

Extract euser
SETENV (ORACLE_SID='orcl')
userid ogguser, password ogguser
-- TranlogOptions IntegratedParams (max_sga_size 256)  -- 传统模式没有这个IntegratedParams参数
Exttrail  ./dirdat/kk/in                               -- 生成文件的目录，如果有指定深层的目录结构，需要先手动创建对应的文件夹。比如这里需要在dirdat目录下创建kk文件夹
LOGALLSUPCOLS
UPDATERECORDFORMAT COMPACT
Table oggsrc.user_info;

保存参数退出编辑器

其中LOGALLSUPCOLS和UPDATERECORDFOMAT，在ORACLE 12C中，这两个新参数是在目标端的Integrated Replicat进程复制数据所必须的。

创建文件夹：

登陆数据库，注册Extract进程和Extract组还有本地的Extract trail文件

GGSCI >dblogin userid 用户名,password 密码【userid是ogg管理用户】
Successfully logged into database.
GGSCI >  register extract einta database      --  如果是传统模式，是不需要执行这句的。
Extract EINTA successfully registered with database at SCN 1905933.
GGSCI > add extract einta, integrated tranlog, begin now  -- 传统模式不是integrated tranlog, 而是tranlog
EXTRACT added.
GGSCI > add exttrail ./dirdat/in, extract einta, megabytes 10
EXTTRAIL added.

当我执行register extract euser database 的时候，报了一个找不到表或视图的错误，这个是权限的原因（如果是传统模式，不需要执行这一步）。

如果想使用DDL功能，需要在之前运行支持DDL的相关脚本。

脚本：

1.@marker_setup.sql
2.@ddl_setup.sql mode of installation:initialsetup
3.@role_setup.sql
4.GRANT GGS_GGSUSER_ROLE TO gguser
5.@ddl_enable.sql

其中执行到@ddl_setup.sql脚本的时候报错，错误信息说明，我们需要给ogguser用户创建单独的表空间。

至此，我们先创建一个新的表空间，并且修改ogguser的表空间为这个新建的：

SQL> create tablespace ggsdata datafile 'C:\app\LeBron\oradata\orcl\ggsdata01.db
f'size 50M autoextend on extent management local uniform size 256k;

表空间已创建。

SQL>
SQL> alter user ogguser default tablespace ggsdata;

用户已更改。

SQL>

1. @marker_setup.sql

2. @ddl_setup.sql

3.@role_setup.sql

4. GRANT GGS_GGSUSER_ROLE TO ogguser

5.@ddl_enable.sql

配置投递进程（DATA PUMP）

GGSCI > Edit Param pinta
Extract  pinta
SETENV (ORACLE_SID='orcl')
Userid system@orclcn, password Admin123  -- 账号密码
rmthost 目标端的ip地址, mgrport 7809
rmttrail ./dirdat/pn
Table PDBBFFL.用户名.表名;【目标还是源端需要再确认】
Table PDBBFFL.用户名.表名;
……

Extract  puser5
SETENV (ORACLE_SID='orcl')
UseridAlias ogguser@orcl
rmthost 192.168.213.131, mgrport 7809
rmttrail ./dirdat/kk5/pn
Table oggsrc.user_info;

创建DATA PUMP组然后添加远程EXTRACT TRAIL文件

GGSCI > add extract 进程名, exttrailsource ./dirdat/kk5/in  -- 对应抽取进程的路径和前缀
EXTRACT added.
GGSCI > add rmttrail ./dirdat/kk5/pn, extract 进程名, megabytes 10 -- 对应生成投递文件的路径和前缀，如果指定下级的目录，需要在目标端dirdat目录下创建对应的文件夹，比如这里，我就需要手动创建kk5的文件夹
RMTTRAIL added.

GGSCI > add extract puser5, exttrailsource ./dirdat/kk5/in
EXTRACT added.
GGSCI > add rmttrail ./dirdat/kk5/pn, extract puser5, megabytes 10
RMTTRAIL added.

启动目标端mgr管理进程：

然后启动源端抽取和投递进程，并使用info all查看进程状态：

GGSCI (WIN-M0UVT17SJ7H) 48> info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING
JAGENT      STOPPED
EXTRACT     STOPPED     EUSER5      00:00:00      00:00:05
EXTRACT     STOPPED     PUSER5      00:00:00      00:00:04


GGSCI (WIN-M0UVT17SJ7H) 49> start euser5

Sending START request to MANAGER ...
EXTRACT EUSER5 starting


GGSCI (WIN-M0UVT17SJ7H) 50> start puser5

Sending START request to MANAGER ...
EXTRACT PUSER5 starting


GGSCI (WIN-M0UVT17SJ7H) 51> info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING
JAGENT      STOPPED
EXTRACT     RUNNING     EUSER5      00:00:00      00:00:01
EXTRACT     RUNNING     PUSER5      00:00:00      00:00:21


GGSCI (WIN-M0UVT17SJ7H) 52>

然后去目标端对应目录查看trail文件是否已经过来：

至此，我们源端的所有进程都已经配置完成了。那么接下来就是配置目标端的进程，并使之处理trail文件并更新数据库操作使之生效。

配置Replicat 进程进行数据传输

配置REPLICAT 进程

1. 在目标端打开GGSCI，执行以下操作

GGSCI >Edit Param 进程名
Replicat 进程名
SETENV(ORACLE_SID='orcl')                     -- 环境变量
DBOPTIONS INTEGRATEDPARAMS(parallelism 6)     -- 集成模式参数
AssumeTargetDefs
DiscardFile ./dirrpt/rpdw.dsc, Purge
userid system@pdbbffl,password oracle12c      -- 账号，密码
Map 用户名.表名, target 用户名.表名;            -- 左边是目标表，右边是源端表。如果两边字段一致，则可默认只写表名即可。如果有复杂的：转码、获取生成序列、常量值等，而下面是一个简单的实现
map 用户名.表名,target 用户名.表名,SQLEXEC(ID lookup,QUERY '执行的sql脚本(比如查询生成序列)',NOPARAMS),COLMAP(ID=@GETVAL(lookup.目标用户.序列名.nextval),目标表字段=源表字段,目标表字段=@CASE(源表字段,'原值1','实际值1','原值2','实际值2',....,'默认值'),目标字段='常量值');

我们先对比下目标端和源端表结构：

其中我故意把表字段设置成不一样的，而且多了一个ID，和BZ常量字段，ID我们就用序列好了。

那么先在目标端创建一个序列：seq_users

C:\Users\Administrator>sqlplus oggtrg/oggtrg

SQL*Plus: Release 11.2.0.1.0 Production on 星期二 5月 8 13:11:52 2018

Copyright (c) 1982, 2010, Oracle.  All rights reserved.


连接到:
Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options

SQL> create sequence seq_users start with 1 increment by 1 nomaxvalue nocache;

序列已创建。

SQL>

配置复制进程参数：

GGSCI >Edit Param ruser
Replicat ruser
SETENV(ORACLE_SID='orcl') 
DBOPTIONS INTEGRATEDPARAMS(parallelism 6)
AssumeTargetDefs
DiscardFile ./dirrpt/rpdw.dsc, Purge
userid oggtrg,password oggtrg
map oggsrc.user_info,target oggtrg.TRG_USER_INFO,SQLEXEC(ID lookup,QUERY 'select seq_users.nextval from dual',NOPARAMS),COLMAP(ID=@GETVAL(lookup.oggtrg.seq_users.nextval),YID=ID,UNAME=NAME,AGE=AGE,GENDER=@CASE(GENDER,'1','2','0','1','3'),CREATE_TIME=CREATE_TIME,BZ='1');

2. 在GGSCI中登陆数据库，加入REPLICAT服务并将它连接到EXTTRAIL之后启动服务

Successfully logged into database.
GGSCI > Add Replicat ruser [integrated]  exttrail ./dirdat/kk5/pn    -- 
REPLICAT (Integrated) added.
GGSCI > Start Replicat ruser
Sending START request to MANAGER ...
REPLICAT RUSER starting
GGSCI > info all
Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING
REPLICAT    RUNNING     RUSER       00:00:00      00:00:39

如果启动报错：

则说明想使用DDL功能，需要在之前运行支持DDL的相关脚本。

脚本：

1.@marker_setup.sql
2.@ddl_setup.sql mode of installation:initialsetup
3.@role_setup.sql
4.GRANT GGS_GGSUSER_ROLE TO ogguser
5.@ddl_enable.sql

其中执行到@ddl_setup.sql脚本的时候报错，错误信息说明，我们需要给ogguser用户创建单独的表空间。