基于GOLDENGATE实现数据实时分发

最新推荐文章于 2026-02-02 20:12:41 发布
原创 最新推荐文章于 2026-02-02 20:12:41 发布 · 3.6k 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#goldengate #数据分发
本文介绍了使用Oracle GoldenGate实现数据从源数据库到多个目标数据库的一对多分发过程，并详细探讨了三种不同的配置方式及其优缺点。

数据分发是中一对多的系统配置。Oracle GoldenGate支持源端数据库同多个目标数据库之间的数据同步，同步节点可以是同构数据库，也可以是异构数据库。根据不同的数据库平台，GoldenGate支持的功能会有所差异，但数据分发的总体模式如下：

通过GoldenGate实现数据分发，实现方式可以概括为如下三种方式：
  • 第一种方式：每个extract进程组对应一个datapump进程组，每个datapump进程组对应一个replicat进程组
  • 第二种方式：每个extract进程组对应多个datapump进程组，每个datapump进程组对应一个replicat进程组
  • 第三种方式：每个extract进程组对应一个datapump进程组，每个datapump进程组对应多个replicat进程组
当然，除了如上三种方式，根据实际情况进行灵活配置，可以演变出更多的数据分发模式，下面分别针对三种实现方式搭建实验环境，过程如下：
实验环境：
   操作系统：redhat 6.5
   数据库：mysql 5.6
   源数据库节点：redhat1 192.168.18.11
   目标数据库节点：redhat2  192.168.18.12  redhat3  192.168.18.13
    
第一种方式：
redhat1节点配置脚本如下： 
    
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. ADD EXTRACT ext1, TRANLOG, BEGIN NOW
  5. ADD EXTTRAIL /u01/mysqlogg/dirdat/ol, EXTRACT ext1
  6. EOF
  7. cat > /u01/mysqlogg/dirprm/ext1.prm <<EOF
  8. EXTRACT ext1
  9. tranlogoptions altlogdest '/var/lib/mysql/binlog/bin.index'
  10. SOURCEDB db1@192.168.18.11:3306, USERID ogg, PASSWORD ogg
  11. EXTTRAIL /u01/mysqlogg/dirdat/ol
  12. TABLE db1.t*;
  13. EOF
  14. ./ggsci <<EOF
  15. ADD EXTRACT pump1, EXTTRAILSOURCE /u01/mysqlogg/dirdat/ol, BEGIN NOW
  16. ADD RMTTRAIL /u01/mysqlogg/dirdat/or, EXTRACT pump1
  17. EOF
  18. cat > /u01/mysqlogg/dirprm/pump1.prm <<EOF
  19. EXTRACT pump1
  20. RMTHOST 192.168.18.12, MGRPORT 7809
  21. RMTTRAIL /u01/mysqlogg/dirdat/or
  22. TABLE db1.t*;
  23. EOF
     
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. ADD EXTRACT ext2, TRANLOG, BEGIN NOW
  5. ADD EXTTRAIL /u01/mysqlogg/dirdat/sl, EXTRACT ext2
  6. EOF
  7. cat > /u01/mysqlogg/dirprm/ext2.prm <<EOF
  8. EXTRACT ext2
  9. tranlogoptions altlogdest '/var/lib/mysql/binlog/bin.index'
  10. SOURCEDB db1@192.168.18.11:3306, USERID ogg, PASSWORD ogg
  11. EXTTRAIL /u01/mysqlogg/dirdat/sl
  12. TABLE db1.t*;
  13. EOF
  14. ./ggsci <<EOF
  15. ADD EXTRACT pump2, EXTTRAILSOURCE /u01/mysqlogg/dirdat/sl, BEGIN NOW
  16. ADD RMTTRAIL /u01/mysqlogg/dirdat/sr, EXTRACT pump2
  17. EOF
  18. cat > /u01/mysqlogg/dirprm/pump2.prm <<EOF
  19. EXTRACT pump2
  20. RMTHOST 192.168.18.13, MGRPORT 7809
  21. RMTTRAIL /u01/mysqlogg/dirdat/sr
  22. TABLE db1.t*;
  23. EOF
redhat2节点配置代码如下： 
    
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. dblogin sourcedb ogg@192.168.18.12:3306 userid ogg password ogg
  5. add checkpointtable ogg.ggs_checkpoint
  6. ADD REPLICAT rep1, EXTTRAIL /u01/mysqlogg/dirdat/or, BEGIN now
  7. EOF
  8. cat > /u01/mysqlogg/dirprm/rep1.prm <<EOF
  9. REPLICAT rep1
  10. ASSUMETARGETDEFS
  11. TARGETDB db1@192.168.18.12:3306, USERID ogg, PASSWORD ogg
  12. MAP db1.t*, TARGET db1.*;
  13. EOF
redhat3节点配置代码如下 
    
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. dblogin sourcedb ogg@192.168.18.13:3306 userid ogg password ogg
  5. add checkpointtable ogg.ggs_checkpoint
  6. ADD REPLICAT rep2, EXTTRAIL /u01/mysqlogg/dirdat/sr, BEGIN now
  7. EOF
  8. cat > /u01/mysqlogg/dirprm/rep2.prm <<EOF
  9. REPLICAT rep2
  10. ASSUMETARGETDEFS
  11. TARGETDB db1@192.168.18.13:3306, USERID ogg, PASSWORD ogg
  12. MAP db1.t*, TARGET db1.*;
  13. EOF
测试结果：
ogg截图：
mysql截图：
 
结论：
1：可以实现数据的1对多分发
2：多个extract进程组重复提取数据，会增加工作负载
3：各个分发进程组之间不存在重叠区域，因此当某一进程发生故障时或需要做出调整工作时，不会影响其他分发进程组
4：比较适合于分发到不同目标数据库的数据不存在交集的情况
第二种方式：
redhat1节点配置脚本如下： 
    
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. ADD EXTRACT ext1, TRANLOG, BEGIN NOW
  5. ADD EXTTRAIL /u01/mysqlogg/dirdat/ol, EXTRACT ext1
  6. EOF
  7. cat > /u01/mysqlogg/dirprm/ext1.prm <<EOF
  8. EXTRACT ext1
  9. tranlogoptions altlogdest '/var/lib/mysql/binlog/bin.index'
  10. SOURCEDB db1@192.168.18.11:3306, USERID ogg, PASSWORD ogg
  11. EXTTRAIL /u01/mysqlogg/dirdat/ol
  12. TABLE db1.t*;
  13. EOF
  14. ./ggsci <<EOF
  15. ADD EXTRACT pump1, EXTTRAILSOURCE /u01/mysqlogg/dirdat/ol, BEGIN NOW
  16. ADD RMTTRAIL /u01/mysqlogg/dirdat/or, EXTRACT pump1
  17. EOF
  18. cat > /u01/mysqlogg/dirprm/pump1.prm <<EOF
  19. EXTRACT pump1
  20. RMTHOST 192.168.18.12, MGRPORT 7809
  21. RMTTRAIL /u01/mysqlogg/dirdat/or
  22. TABLE db1.t*;
  23. EOF
  24. ./ggsci <<EOF
  25. ADD EXTRACT pump2, EXTTRAILSOURCE /u01/mysqlogg/dirdat/ol, BEGIN NOW
  26. ADD RMTTRAIL /u01/mysqlogg/dirdat/sr, EXTRACT pump2
  27. EOF
  28. cat > /u01/mysqlogg/dirprm/pump2.prm <<EOF
  29. EXTRACT pump2
  30. RMTHOST 192.168.18.13, MGRPORT 7809
  31. RMTTRAIL /u01/mysqlogg/dirdat/sr
  32. TABLE db1.t*;
  33. EOF
redhat2节点配置脚本： 
    
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. dblogin sourcedb ogg@192.168.18.12:3306 userid ogg password ogg
  5. add checkpointtable ogg.ggs_checkpoint
  6. ADD REPLICAT rep1, EXTTRAIL /u01/mysqlogg/dirdat/or, BEGIN now
  7. EOF
  8. cat > /u01/mysqlogg/dirprm/rep1.prm <<EOF
  9. REPLICAT rep1
  10. ASSUMETARGETDEFS
  11. TARGETDB db1@192.168.18.12:3306, USERID ogg, PASSWORD ogg
  12. MAP db1.t*, TARGET db1.*;
  13. EOF
redhat3节点配置脚本： 
    
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. dblogin sourcedb ogg@192.168.18.13:3306 userid ogg password ogg
  5. add checkpointtable ogg.ggs_checkpoint
  6. ADD REPLICAT rep2, EXTTRAIL /u01/mysqlogg/dirdat/sr, BEGIN now
  7. EOF
  8. cat > /u01/mysqlogg/dirprm/rep2.prm <<EOF
  9. REPLICAT rep2
  10. ASSUMETARGETDEFS
  11. TARGETDB db1@192.168.18.13:3306, USERID ogg, PASSWORD ogg
  12. MAP db1.t*, TARGET db1.*;
  13. EOF
EOF测试结果：
特点：
    1、单一extract进程组对应多个datapump进程组，可以节省本地exttrail文件占用的空间
    2、extract进程故障会影响到所有的复制进程
    3、为每个target replicat分配一个专用datapump进程组，灵活性和性能较高
第三种方式：
redhat1节点的配置代码如下 
    
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. ADD EXTRACT ext1, TRANLOG, BEGIN NOW
  5. ADD EXTTRAIL /u01/mysqlogg/dirdat/ol, EXTRACT ext1
  6. EOF
  7. cat > /u01/mysqlogg/dirprm/ext1.prm <<EOF
  8. EXTRACT ext1
  9. tranlogoptions altlogdest '/var/lib/mysql/binlog/bin.index'
  10. SOURCEDB db1@192.168.18.11:3306, USERID ogg, PASSWORD ogg
  11. EXTTRAIL /u01/mysqlogg/dirdat/ol
  12. TABLE db1.t*;
  13. EOF
  14. ./ggsci <<EOF
  15. ADD EXTRACT pump1, EXTTRAILSOURCE /u01/mysqlogg/dirdat/ol, BEGIN NOW
  16. EOF
  17. cat > /u01/mysqlogg/dirprm/pump1.prm <<EOF
  18. EXTRACT pump1
  19. RMTHOST 192.168.18.12, MGRPORT 7809
  20. RMTTRAIL /u01/mysqlogg/dirdat/or
  21. TABLE db1.t*;
  22. RMTHOST 192.168.18.13, MGRPORT 7809
  23. RMTTRAIL /u01/mysqlogg/dirdat/sr
  24. TABLE db1.t*;
  25. EOF
  26. ./ggsci <<EOF
  27. ADD RMTTRAIL /u01/mysqlogg/dirdat/or, EXTRACT pump1
  28. ADD RMTTRAIL /u01/mysqlogg/dirdat/sr, EXTRACT pump1
  29. EOF
redhat2节点配置脚本： 
      
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. dblogin sourcedb ogg@192.168.18.12:3306 userid ogg password ogg
  5. add checkpointtable ogg.ggs_checkpoint
  6. ADD REPLICAT rep1, EXTTRAIL /u01/mysqlogg/dirdat/or, BEGIN now
  7. EOF
  8. cat > /u01/mysqlogg/dirprm/rep1.prm <<EOF
  9. REPLICAT rep1
  10. ASSUMETARGETDEFS
  11. TARGETDB db1@192.168.18.12:3306, USERID ogg, PASSWORD ogg
  12. MAP db1.t*, TARGET db1.*;
  13. EOF
redhat3节点配置脚本： 
       
  1. cd /u01/mysqlogg/
  2. ./ggsci <<EOF
  3. start mgr
  4. dblogin sourcedb ogg@192.168.18.13:3306 userid ogg password ogg
  5. add checkpointtable ogg.ggs_checkpoint
  6. ADD REPLICAT rep2, EXTTRAIL /u01/mysqlogg/dirdat/sr, BEGIN now
  7. EOF
  8. cat > /u01/mysqlogg/dirprm/rep2.prm <<EOF
  9. REPLICAT rep2
  10. ASSUMETARGETDEFS
  11. TARGETDB db1@192.168.18.13:3306, USERID ogg, PASSWORD ogg
  12. MAP db1.t*, TARGET db1.*;
  13. EOF
测试结果：
 结论：
    1、不能实现数据分发，rmttrail始终分发到同一目标数据库

    2、官方文档的部分描述与结论不一致


更多原创文章，请到www.ezbit.ren

Oracle GoldenGate（OGG）- 超级详细
erainm
10-30 3万+
1. OGG简介 2. 应用场景 3. 基本原理 4. 基本架构 5. 常用的拓扑结构 6. 支持的环境 7. OGG安装部署 7.1 配置Oracle11gR2数据库 7.2 安装OGG源端 7.3 配置OGG源端 7.4 配置OGG目标端 7.5 OGG测试 8. 初始化业务数据 8.1 安装OGG源端 8.2 配置OGG源端 8.3 配置OGG目标端 8.4 OGG测试
OGG(Oracle GoldenGate)的安装和单向同步
weixin_52444902的博客
06-29 4209
OGG安装和单向同步
Oracle GoldenGate（OGG）基础知识整理
Ruishine的博客
07-01 1万+
一、GoldenGate简介 GoldenGate软件是一种基于日志的结构化数据复制软件。它通过解析源数据库在线日志或归档日志获得数据的增删改变化（数据量只有日志的四分之一左右），能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持最少10ms的数据延迟。 Oracle Golden Gate可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒级的实时复制,从而在可以在应急系统、在线报表、 实时数据仓库供应、交易跟踪、数据同步、集中/分发、
Oracle-----OGG搭建部署（goldengate）
latesummer_的博客
05-18 1万+
OGG用于Oracle数据库，进行数据同步。 搭建环境：centos7.6、单节点Oracle数据库 一、安装goldengate软件 1.1创建ogg用户 在操作系统中，创建ogg用户。 useradd -g dba -G oinstall -d /home/ogg ogg 1.2设置环境变量 可以在原来Oracle数据库的环境变量基础上进行修改： cp /home/oracle/.bash_profile /home/ogg/ chown ogg:dba /home/ogg/.bash_profile
【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(中)
热门推荐
赵延东的一亩三分地
03-05 5万+
本章介绍如何配置xagent远程GUI安装ogg，也可以用来当作xagent远程调用GUI的学习资料，之前写过一系列关于GoldenGate异构同步Mysql、Kafka、Kylin、Flink做实时计算的场景文章。下面是我给大家的生产环境下，如何部署GoldenGate及异构实时同步数据的解决方案。本文主要介绍如何实现实时异构的进行Oracle->Oracle的数据同步，这种数据同步适用于灾备、升级、实时ODS等场景使用。我这里给大家了三个GoldenGate部署方式，看大家喜欢用哪种吧！
一个Golden Gate实时数据分发的例子
09-23 125
本文记录在我工作中的一个Golden Gate实时数据分发的例子，数据从一个RKS数据库分发到两个两个ESG数据库。Extract Pump Replicat...
oracle 表 实时同步,数据实时同步解决方案-oracle.pdf
weixin_39928003的博客
04-02 397
数据实时同步解决方案-oracle数据数据实时实时同步解决方案同步解决方案数据数据实时实时同步解决方案同步解决方案唐醒 xing.tang@咨询顾问 Oracle Fusion Middleware议程议程议程议程• GoldenGate简介• GoldenGate工作原理• GoldenGate主要应用场景••成功案例成功案例• 问题与交流客户要求连续的实时数据客户要求连续的实时数据客户要求连续...
goldengate学习
03-16 193
最近开始研究oracle goldengate，其详细介绍官方文档都有，现摘录在此： ORACLE GOLDENGATE 11GTo succeed in today’s competitive environment, yo...
OGG在实时数据仓库中的拓扑魔术：单向、双向与级联复制的业务价值
最新发布
weixin_29201933的博客
02-02 388
本文深入探讨了Oracle GoldenGate（OGG）在实时数据仓库中的三种拓扑结构——单向、双向与级联复制的业务价值。通过物流行业的实际案例，展示了OGG如何实现亚秒级数据同步、异构平台支持及零停机迁移，显著提升库存可视化管理、跨区域调拨决策等关键业务指标。文章还提供了OGG配置示例、性能优化技巧及运维监控方案，为企业构建高效数据流动网络提供实践指导。
GoldenGate工作原理及应用场景
微赚淘客系统开发者博客
01-07 1426
GoldenGate 是一款由Oracle公司开发的实时数据复制和数据集成工具，它能够在异构数据库之间、不同数据中心之间实现高性能、低延迟的数据同步。其核心功能包括数据抽取、数据转换和数据加载，能够在不中断业务的情况下实现跨数据库、跨平台的实时数据同步。GoldenGate 作为数据库领域中备受推崇的实时数据复制工具，在企业应用中发挥着举足轻重的作用。通过了解其工作原理、应用场景以及优势，我们能更好地理解和利用这一强大的数据同步工具。
Golden Gate 的概念、原理、复制过程以及搭建过程
m0_71335202的博客
10-11 1931
Golden Gate 的概念、原理、复制过程以及搭建过程
Golden Gate简介
qq_44102625的博客
10-20 929
OSWatcher Black Box, 简称OSW，是oracle提供的一个小但是非常有用的工具，它通过调用OS自己提供的命令来记录OS运行时的一些性能参数，比如CPU/Memory/Swap/Network IO/Disk IO相关的信息。OSW的工作机制是每隔一段时间调用OS提供的一些工具，比如ps, vmstat, netstat, mpstat, top;然后把这些工具的输出打印到文件里，当系统出现问题时我们可以利用收集的信息帮助我们去分析问题。
Oracle GoldenGate实现数据同步(Windows环境下的内外网同步)
qq_41604890的博客
09-30 4451
GoldenGate + sftp 实现内外网 Oracle数据库同步
Golden Gate - 概念和机制
eagle89的专栏
04-13 6079
Oracle Golden Gate - 概念和机制 (ogg) Golden Gate（简称OGG）提供异构环境下交易数据的实时捕捉、变换、投递。 OGG支持的异构环境有： GoldenGate能够支持多种拓扑结构，包括一对一，一对多，多对一，层叠和双向复制等等。 GoldenGate基本架构 OGG的特性： 对生产系统影响小：实时读取交易日志，以低资源占用实现...
OGG基础知识总结
yuxiaoyanranxt的博客
04-23 1575
OGG基础知识整理 1 GoldenGate介绍 GoldenGate软件是一种基于日志的机构化数据复制软件，能够实现大量交易数据的实时捕捉，变化和投递，实现源数据库与目标数据库的数据同步，保持压秒级的数据延迟。 GoldenGate能够支持多种拓扑结构，包括一对一，一对多，多对一，层叠和双向复制等。 GoldenGate基本架构图 1.1 Oracle GoldenGate主要组件 Extr...
搞懂DDS数据分发服务
weixin_39568744的博客
07-03 7533
数据分发服务（DDS™）是一个由对象管理组（OMG）发布的以数据为中心的中间件协议和API标准。采用分布式发布/订阅体系架构，以中间件的形式提供通信服务，强调以数据为中心。DDS中间件是一个软件层，从操作系统、网络传输和底层数据格式的细节中抽象出应用。相同的概念和api提供给不同的编成语言，使得应用在不同的操作系统、编成语言和处理体系架构之间交换信息。底层细节包括数据传输格式、发现、连接、可靠性和、协议、Qos策略等由中间件来管理。...
数据分发服务(DDS, Data Distribution Service)简介
醉逍遥的博客
09-27 2129
OMG 数据分发服务 (DDS™) 是一个中间件协议和 API 标准，用于来自 Object Management Group® (OMG®) 的以数据为中心的连接。它将系统的组件集成在一起，提供业务和关键任务物联网 (IoT) 应用程序所需的低延迟数据连接、极高的可靠性和可扩展架构。在分布式系统中，中间件是位于操作系统和应用程序之间的软件层。它使系统的各个组件能够更轻松地通信和共享数据。它让软件开发人员专注于其应用程序的特定用途，而不是在应用程序和系统之间传递信息的机制，从而简化了分布式系统的开发。
OGG|Oracle GoldenGate 微服务架构
JiekeXu的博客
06-16 3199
作者 | JiekeXu来源 |公众号 JiekeXu DBA之路（ID: JiekeXu_IT）大家好，我是 JiekeXu,很高兴又和大家见面了,今天和大家一起来学习利用 OGG 微服务架构，欢迎点击上方蓝字关注我，标星或置顶，更多干货第一时间到达！前文讲述了 利用 OGG 迁移 Oracle11g 到 19C，学习了 OGG 的经典架构，现在来学习一下 Oracle...
OGG|Oracle GoldenGate 基础知识介绍(二)
JiekeXu的博客
09-04 1441
作者 | JiekeXu来源 |公众号 JiekeXu DBA之路（ID: JiekeXu_IT）如需转载请联系授权 |(个人微信 ID：JiekeXu_DBA)大家好，我是 JiekeXu,很高兴又和大家见面了,今天和大家一起来看看 Oracle GoldenGate 基础知识介绍(二)，欢迎点击上方蓝字“JiekeXu DBA之路”关注我的公众号，标星或置顶，更多干货第一时间到达目前，比较常...
数据分发服务模型解析
海边的锋
03-03 1万+
1 数据分发服务       数据分发服务（DDS）的核心是以数据为中心的发布-订阅DCPS(Data-Centric Publish-Subscribe)，即发布者能高效地将正确的信息传递给适当的订阅者。 2 数据分发模型 数据分发归结为一种独立的系统软件或服务程序的中间件，分布式应用借助这种软件在不同的技术之间共享资源；中间件位于客户机/服务器的操作系统之上，管理计算资源和网络通讯。中间
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值