TurboDX架构、应用场景、比较优势 北京数贝软件科技有限公司 2018-12.

Presentation on theme: "TurboDX架构、应用场景、比较优势 北京数贝软件科技有限公司 2018-12."— Presentation transcript:

1 TurboDX架构、应用场景、比较优势 北京数贝软件科技有限公司

2 TurboDX产品架构 先进的监控和控制功能 B/S点击式设计方式、简单易用 快速全量加载和实时CDC增量 广泛异抅数据源支持
源库 事务日志读取 TurboDX Server 内存流处理 点击式交换任务设计及管理 转换 过滤 CDC读取 分块读取 流式加载 分块加载 目标库 数据/元数据 元数据库 先进的监控和控制功能 B/S点击式设计方式、简单易用 快速全量加载和实时CDC增量 广泛异抅数据源支持 非侵入式架构、源湍无任何代理程序 ︾ ︾ ︾ ︾ ︾

3 TurboDX功能架构 元数据管理 数据源 监控&统计 连接 数据 服务 管理 任务 管理 系统管理 用户管理 菜单管理 授权管理 参数配置
Hadoop连接 RDB连接 二进制文件连接 主题服务连接 Kafka连接 数据文件连接 元数据管理 监控&统计 运行监控 元数据目录管理 数据 服务 管理 主题服务配置 服务用户管理 主题服务监控 服务目录 任务日志 查看实例数据 告警通知 任务 管理 交换整合 复制同步 任务调度 文件传输/加载 交换数据结构管理 成果展现 系统管理 用户管理 菜单管理 授权管理 参数配置 操作日志

4 应用模式——单向/双向/双写复制同步 TurboDX TurboDX Database Database Database 业务数据库
数据库/数仓/Hadoop/Kafka Database 业务数据库 TurboDX Database 业务数据库

5 应用模式——域内数据汇聚 TurboDX Application Database Application Database
业务系统 Database 业务数据库 Application 业务系统 Database 业务数据库 TurboDX DB/数仓/Hadoop/Kafka 中心汇聚库 Application 业务系统 Database 业务数据库

6 应用模式——域内数据分发 TurboDX Database 中心汇聚库 JDBC/MPP

7 应用模式——跨部门/地域数据采集汇聚 TurboDX Application Database 数据上传 Application 标准下发
部门端 Application 部门业务系统 Database 部门前置库 数据上传 Application 中心业务系统 标准下发 DB/Haddop/Kafka 中心汇聚库 TurboDX PLUS 数据中心端 标准下发 BI 中心BI系统 TurboDX 部门端 Application 部门业务系统 Database 部门前置库 数据上传

8 应用模式——跨部门/地域数据分发 TurboDX Application Database Safe level Database
部门端 Application 部门业务系统 Database 部门前置库 部门中心库 Safe level 安全等级 Database 中心业务数据库 安全等级加载 Database 中心服务数据库 TurboDX PLUS 数据中心端 数据分发 数据分发 TurboDX 部门端 Application 部门业务系统 Database 部门前置库 部门中心库 Database 中心汇聚数据库 目录加载 Catalog 服务目录 XML

9 应用模式——云端单向/双向/双写同步 说明：
1、在局域网内安装一套TurboDX Premium，直接接入局域网内的Oracle数据库、云网络内7个主从数据库、云网络内DDM集群数据库； 2、上行增量数据采集通过CDC方式Oracle数据库中获取，写入到云网络DDM集群中，由集群自行负责分发到各个主从数据库中； 3、下行增量数据采集通过CDC方式从云网络各主从数据库中获取，写入到局域网络的Oracle数据库。

10 功能特点 广泛数据源 复制同步 全量 实时增量 全量+增量 双向(双写) 数据比对 数据回补 数据脱敏 数据校验(清洗) DDL复制
Oracle(RAC) SQL Server MySQL PostgreSQL Informix Mycat 云RDS DRDS DDM Gbase、Gauss Greenplum、Vertica Hadoop Kafka 二进制文件 格式化数据文件(csv,txt,excel,json、xml) 复制同步 全量 实时增量 全量+增量 双向(双写) 数据比对 数据回补 数据脱敏 数据校验(清洗) DDL复制 集群数据源 交换整合 日志CDC 触发器 标识位 时间戳 全量比对 物理表、视图 单表交换 多表整合 一对多分发 过滤转换 数据过滤 表级 行级 字段级 转换处理 格式转换 常用函数 自定义函数 冲突策略 标准策略 以源为主 目标为主 自定义 智能策略 值大值小 时间新旧 交换性能 多线程流处理 数据库传输：30000记录/s 或 12M/s 文件传输： 40M/s 安全可靠 加密传输 压缩存储 断点续传 传且传一次 保持事务完整 运维管理 扩展功能 二进制文件交换 数据文件入库 数据发布/订阅服务 Hadoop 集成 Kafka 集成 MPP 数仓 Cluster高可用性集群版

11 TurboDX 优势和价值 A 完全B/S界面简单易用 B C 具有价格比较优势 D
集成复制同步(CDC)、ELT/ETL和数据交换功能于一体 支持同构/异构关系型数据库、Hadoop、Kafka 等大数据的接入 支持二进制文件传输、半结构化数据文件入库 统一元数据目录视图、统一调度、统一监控远维管理 多功能集成一体化、元数据目录视图与数据同步、交换整合管理”一张皮”。 B 完全B/S图形化配置和监控管理界面 不用命令行、不用开发接口 实施高效、快速上线、自助服务 大大降低实施时间成本和运维成本 完全B/S界面简单易用 C 采用独有的CDC技术，在源与目标不需要部署任何代理程序和建任何表，对源端应用系统的影响几乎为零。 釆用微服务容器架构和内存多线程流处理技术，系统高容错机制设计，稳定可靠、数据实时性和交换性能高。 提供高可用性集群版、实现故障转移和负载均衡。 对源和目标无侵入、干扰影响最小。容错机制、稳定性可靠性强 D 租售结合，满足不同招标形式 按源计费，随时扩展，适应项目发展趋势 时限自定，跟随业务实际需要 具有价格比较优势

12 TurboDX 跨部门交换方案优势 C 无前置库跨部门节点(域)交换方案
与TurboDX Plus Service 中心数据通道组成跨域交换网络 多重访问控制、加密传输、压缩存储，保证数据安全、可控 无需落地前置库，消除安全隐患 无前置库跨部门节点(域)交换方案

13 数据库同步/复制工具比较 比较事项 数贝TurboDX Oracle GoldenGate Quest SharePlex 异构数据源和目标
支持 支持（源仅支持Oracle 或SQL　Server，且由产品不同版本分别支持） 对源和目标数据库的影响 无任何驻留程序、无需建任何表，非入侵式设计、影响几乎为零 需要在源库中建表，对源库有一定影响 需要在Oracle数据库中安装少量的对象，在源系统中有驻留进程 Hadoop、Kafka等大数据源和目标 支持Kafka作为目标 数据云迁移 不支持 图形管理监控界面 完全B/S图形化管理监控，简单易用 本身是命令行界面，图形化界面需另配付费管理工具GoldenGate Director 支持C/S图形化监控 安装及配置 图形化安装配置，简单易用 解压缩安装，配置步骤较多 命令行安装，配置步骤少 自动续传/交易事务完整性 总体拥有成本 低 高 中 知名度

14 ETL工具比较 比较事项 数贝TurboDX Informatica Powercenter IBM DataStage 多数据源
DB、MPP、二进制文件、数据文件、Hadoop、Kafka DB、二进制文件、Excel、XML、ERP、消息、封闭式主机 DB、文本文件、Excel、ERP、Web Service、WebSphere MQ 大数据源和目标 支持Hadoop、Kafka 不支持 ETL过程 E-L-T E-T-L 数据转换函数 可自定义 丰富 配置界面 支持，无需编码 支持，嵌入类Basic脚本 跨广域网/防火墙的安全数据传输 支持 对异常数据的处理 本地支持能力 高 一般 总体拥有成本 低

15 跨部门数据交换平台产品比较 比较事项 数贝TurboDX Plus Service 国内某中间件厂商DXP
国内某工作流厂商 ServiceWorks 数据端到端可达 支持 不支持 是否需要前置库 不需要 需要 部门系统接入周期 短 长 部门系统接入/维护成本 低 高 多种管理服务模式 是否满足部门接入数据管理需求 满足 不满足 数据可跟踪、可溯源 Kafka 等大数据接入