CBU 全球合作伙伴业务部 北京希嘉创智教育科技有限公司

Presentation on theme: "CBU 全球合作伙伴业务部 北京希嘉创智教育科技有限公司"— Presentation transcript:

1 CBU 全球合作伙伴业务部 北京希嘉创智教育科技有限公司
05/ 08/ 2019 数据治理解决方案主打胶片 CBU 全球合作伙伴业务部 北京希嘉创智教育科技有限公司

2 目录 行业现状与挑战 华为数据治理解决方案

3 数据治理领域及功能 数据治理：概念 高校数据治理的背景 专注于将数据作为企业的价值资产进行应用和管理的过程和管理机制。
市场空间 驱动力 客户需求 客户痛点 数据治理：概念 专注于将数据作为企业的价值资产进行应用和管理的过程和管理机制。 能够消除数据的不一致性，建立规范的数据应用标准，提高组织数据质量，实现数据广泛共享，并能够将数据作为组织的宝贵资产服务于业务、管理、战略决策中，发挥数据资产的商业价值。 有助于组织更好的遵循内外部有关数据使用和管理的监管法规。 高校数据治理的背景 大部分高校已完成校园网络、信息系统、数字平台的建设。建设初期，信息系统多以业务部门牵头分别进行，缺乏全校统一的系统规划和数据标准。 虽然已经积累了大量的业务数据，但普遍存在数据质量不高、冗余数据大量存在、数据可用性不高和各业务部门之间数据共享难度较大等问题，已经严重制约高校日常管理和教学水平的提升。 因此亟需通过全校级别的数据治理流程体系来进行数据的全生命周期管理。 我国高校信息化经过十多年的发展，目前大多数高校已完成校园网络、信息系统、数字平台的建设。由于在建设初期，信息系统建设多以业务部门牵头分别进行，缺乏全校统一的系统规划和数据标准，导致很多高校虽然已经积累了大量的业务数据，但普遍存在数据质量不高、冗余数据大量存在、数据可用性不高和各业务部门之间数据共享难度较大等问题，这些问题已经严重制约高校日常管理和教学水平的提升。因此亟需通过针对高校个性化场景需求研究，建设一套全校级别的数据治理流程体系来进行数据的全生命周期管理。 　　当前，国内已有部分学者在高校数据治理领域做了相关研究。李铮铮等针对数据存储管理等提出了抓好顶层设计、制度与标准编制、关键技术研究和安全保密建设等关键环节，加强数据工程建设的观点；李勇军结合具体项目实践阐述了核心准则中“组织”和“整合”在大数据治理中的实际应用，揭示了高校组织中的数据信息标准建设以及信息化管理项整合的重要性。许晓东认为高等教育数据治理可以分为数据的获取和抽取、整合和分析、解释和预测几个阶段，数据治理对于高校组织决策制定、提高大学教学质量、提高管理效率具有重大意义；赵安新从数据融合的视角探讨高校数据融合的路径及其治理框架，从而为互联网+高等教育的信息化建设提供思路探讨。李林提出了数据治理的RACI模型，介绍了主数据管理实施过程与数据质量评估办法。包冬梅等在其设计的CALib 模型的实施与评估中，讨论了数据治理成熟度评估的意义。可以看出，国内学者多从不同的层面，结合管理创新和技术实践推进高校范围内的数据治理思路。

4 数据治理的必要性 4种典型问题 数据孤岛普遍 来源责权不清 协调共享困难 质量不高，集成困难 原因：重流程，轻数据，缺标准
概念 市场空间 驱动力 客户需求 客户痛点 数据治理的必要性 4种典型问题 数据孤岛普遍 各自为政，自成一体 管理分割，业务分离 来源责权不清 无人负责，多头来源 流程不清，同步不畅 多个系统，多份数据 协调共享困难 部门管理隔阂 数据有没有，数据在哪里，数据怎么取，数据怎么认都不知道 接口费高昂 需要与多部门反复协调，耗费精力进行整合去重、判断正误、对比冲突，效率低下，费时费力还费钱。 质量不高，集成困难 数据缺失、错误、不完整 形态复杂：电子表格、纸质材料 缺乏标准使数据关联难度大，难以进行大数据分析 我国高校信息化经过十多年的发展，目前大多数高校已完成校园网络、信息系统、数字平台的建设。由于在建设初期，信息系统建设多以业务部门牵头分别进行，缺乏全校统一的系统规划和数据标准，导致很多高校虽然已经积累了大量的业务数据，但普遍存在数据质量不高、冗余数据大量存在、数据可用性不高和各业务部门之间数据共享难度较大等问题，这些问题已经严重制约高校日常管理和教学水平的提升。因此亟需通过针对高校个性化场景需求研究，建设一套全校级别的数据治理流程体系来进行数据的全生命周期管理。 　　当前，国内已有部分学者在高校数据治理领域做了相关研究。李铮铮等针对数据存储管理等提出了抓好顶层设计、制度与标准编制、关键技术研究和安全保密建设等关键环节，加强数据工程建设的观点；李勇军结合具体项目实践阐述了核心准则中“组织”和“整合”在大数据治理中的实际应用，揭示了高校组织中的数据信息标准建设以及信息化管理项整合的重要性。许晓东认为高等教育数据治理可以分为数据的获取和抽取、整合和分析、解释和预测几个阶段，数据治理对于高校组织决策制定、提高大学教学质量、提高管理效率具有重大意义；赵安新从数据融合的视角探讨高校数据融合的路径及其治理框架，从而为互联网+高等教育的信息化建设提供思路探讨。李林提出了数据治理的RACI模型，介绍了主数据管理实施过程与数据质量评估办法。包冬梅等在其设计的CALib 模型的实施与评估中，讨论了数据治理成熟度评估的意义。可以看出，国内学者多从不同的层面，结合管理创新和技术实践推进高校范围内的数据治理思路。 原因：重流程，轻数据，缺标准 总结：数据治理势在必行。

5 市场空间 战略发展支持 科学决策支持 综合事务支持 三大平台 数字化校园 全国顶尖高校 主流211 部分985 部分211 重点本科
概念 市场空间 驱动力 客户需求 客户痛点 市场空间 1、从中职、高职、一般本科、重点本科到顶尖高校，都有数据治理需求。 全国顶尖高校 2、不同学校的建设层次不同，需求层次不同，目标不同，业务纵深很长，业务生命周期很长。 主流211 部分985 战略发展支持 数据=战略资产 大数据、人工智能 制度规范建设 学科建设 竞争力、影响力 3、数据治理与物联网、云计算、移动互联网关系密切，基于底层IT资源，基于各信息管理系统，服务于上层应用，是整个高校信息化体系的核心枢纽。 部分211 重点本科 重点高职 科学决策支持 全量数仓 高质量/全维度 辅助决策支持 一表通 一般高职 省属本科 综合事务支持 主数据平台 一站式服务 移动校园 中职 独立学院 二、三本 数字化校园 三大平台 共享数据库 统一身份认证 统一信息门户 业务系统建设

6 概念 市场空间 驱动力 客户需求 客户痛点 政策

7 数据治理 一站式服务 业务上云 政策解读 信息系统整合共享 互联网+政务服务 互联互通、信息共享、业务协同
概念 市场空间 驱动力 客户需求 客户痛点 政策解读 信息系统整合共享 互联互通、信息共享、业务协同 覆盖全国、统一标准、上下联动、资源共享 实现一数一源、伴随式数据采集 完善教育数据标准规范 促进数据分级分层有效共享，避免数据重复采集 优化业务管理、提升公共服务、促进决策支持　　 数据治理 互联网+政务服务 连接教育政务信息数据和社会宏观治理数据，建立 “互联网+政务服务”网上办事大厅 实现政务服务统一申请、集中办理、统一反馈和全流程监督，分步实施教育政务数据的共享开放，做到事项清单标准化、办事指南规范化、审查工作细则化和业务办理协同化，实现“一张表管理”和“一站式服务” 让百姓少跑腿、数据多跑路，增强人民群众获得感。 一站式服务 业务上云

8 不同层级用户的需求层次 要点 战略发展支持 科学决策支持 综合事务支持 三大平台 数字化校园 全国顶尖高校 主流211 部分985
概念 市场空间 驱动力 客户需求 客户痛点 不同层级用户的需求层次 要点 1、通过调研沟通，准确了解用户现状，帮助用户定位其当前的信息化建设现状和数据资源条件 复旦大学 华中师范大学 全国顶尖高校 2、一般只能从当前现状出发，以上一级为目标考虑建设方案。跨级建设通常难以实现（资金/时间/管理机制） 武汉大学 西安电子科大 主流211 部分985 战略发展支持 数据=战略资产 大数据、人工智能 制度规范建设 学科建设 竞争力、影响力 3、通过实际案例，与用户就现状和目标达成共识，确定建设内容边界。尤其注意避免设定不切实际的目标 华中农业大学 武汉理工大学 部分211 重点本科 重点高职 科学决策支持 全量数仓 高质量/全维度 辅助决策支持 一表通 武汉音乐学院 武汉城市职院 一般高职 省属本科 综合事务支持 主数据平台 一站式服务 移动校园 …… 中职 独立学院 二、三本 数字化校园 三大平台 共享数据库 统一身份认证 统一信息门户 业务系统建设

9 我们的客户是谁？ 要点 战略发展支持 科学决策支持 综合事务支持 三大平台 数字化校园 全国顶尖高校 主流211 部分985 部分211
概念 市场空间 驱动力 客户需求 客户痛点 我们的客户是谁？ 要点 复旦大学 华中师范大学 1、不同层次、不同建设阶段的高校、职校均为潜在客户 全国顶尖高校 武汉大学 西安电子科大 2、负责部门：信息中心。校领导对项目推进有巨大作用 主流211 部分985 战略发展支持 数据=战略资产 大数据、人工智能 制度规范建设 学科建设 竞争力、影响力 华中农业大学 武汉理工大学 部分211 重点本科 重点高职 科学决策支持 全量数仓 高质量/全维度 辅助决策支持 一表通 武汉音乐学院 武汉城市职院 一般高职 省属本科 综合事务支持 主数据平台 一站式服务 移动校园 …… 中职 独立学院 二、三本 数字化校园 三大平台 共享数据库 统一身份认证 统一信息门户 业务系统建设

10 我们的客户是谁？ 要点 战略发展支持 科学决策支持 综合事务支持 三大平台 数字化校园 云服务 全量数据治理 管理制度咨询
概念 市场空间 驱动力 客户需求 客户痛点 我们的客户是谁？ 云服务 全量数据治理 管理制度咨询 要点 3、针对不同的客户需求重点，分别建议如下: 云服务 全量数据治理 战略发展支持 数据=战略资产 大数据、人工智能 制度规范建设 学科建设 竞争力、影响力 云服务 核心主数据治理 科学决策支持 全量数仓 高质量/全维度 辅助决策支持 一表通 云服务 数据集成共享 综合事务支持 主数据平台 一站式服务 移动校园 数字化校园 三大平台 共享数据库 统一身份认证 统一信息门户 业务系统建设 云服务

11 客户需求：他们关注什么？ 数据治理相关 云服务相关 1、数据治理对学校的价值是什么？为什么需要做数据治理？
概念 市场空间 驱动力 客户需求 客户痛点 客户需求：他们关注什么？ 数据治理相关 云服务相关 1、数据治理对学校的价值是什么？为什么需要做数据治理？ 1、当前虚拟化用的挺好的…为什么要上云？ 2、数据治理有哪些成果？如何向全校和领导证明和体现这些成果？ 2、设备=资产，但购买云服务…？长期成本？ 3、学校需要提供哪些资源和配套工作？分别需要各部门做什么？ 3、上云后现在部门这些人怎么安排？职责如何调整？部门被拿掉…? 4、希嘉（华为）的数据治理与传统三大平台方案的区别？ 4、华为云服务与当前的虚拟化平台异同点？ 5、数据标准如何确定？如何落地执行？ 5、私有云与公有云如何打通好互操作? 6、数据交换能否实现足够的实时性？如何保障高实时场景需求？ 6、云端(公有云)数据安全如何保障？ 7、治理后生成的数仓与当前共享库什么关系？有哪些可能选项？ 7、云端(公有云)的业务性能、连续性如何保障？如何运维监控？ 8、原有的数据交换共享如何平滑无风险迁移到新建的数仓中？ 8、大量数据从本地流向公有云对出口压力？延迟？ 9、(华为)数据工具的功能、易用性如何？学校是否有能力接手管理？ 9、 …？ 10、…？ 10、数据质量问题如何发现？如何有效提升数据质量？ 11、如何确保数据安全？如何保护个人隐私？ 12、如何利用数据辅助决策、报表等过程？

12 客户需求：他们为什么关注？ 数据治理相关 云服务相关 1、管理痛点：共享库管理困难，数据问题太多 1、
概念 市场空间 驱动力 客户需求 客户痛点 客户需求：他们为什么关注？ 数据治理相关 云服务相关 1、管理痛点：共享库管理困难，数据问题太多 1、 2、业务驱动：一站式服务，高基表，一表通，决策支持 2、 3、领导要求：很多校领导对数据重要性的认知和站位高于信息中心 3、 4、发展觉悟：希望提升部门在学校的地位（从辅助服务部门变成核心战略部门），为全校提供信息化综合服务能力，被领导、各部门、师生认可，提升存在感，建立良好服务形象。 4、 5、 5、政策驱动：信息化2.0，本科评估，诊断与改进 6、 7、 6、同行示范：本地区、本级别的高校走到前面去了 8、 7、行业趋势：云大物移

13 概念 市场空间 驱动力 客户需求 客户痛点 客户痛点： 问题 描述 1 数据资产不清晰 共享库之外的数据散落在全校各处，没有人知道这些数据的分布、内容、质量、管理权、责任人。即使是共享库，除了信息中心自己，校内其他部门也不清楚有哪些数据可用。这种现状与国家要求及行业发展趋势差距巨大。 共享库覆盖数据太少 三大平台中的共享库只覆盖了最核心的主数据（学校基本信息、人员基本信息），只承担了数据交换共享的职能。 共享库远远达不到合格的“数据中心”的要求。数据不够完整，大量的管理业务数据、线下表格数据、日志数据、互联网数据都没有纳入进行存储和管理。而且共享库的技术架构（RDB）也不能支持海量异构数据的一体化服务和分析计算。 2 缺乏标准规范 共享库中的数据通常是按照MIS中的样子原样照搬，并未进行元数据和代码表的统一。即使有名义上的“校级数据标准”，但没有相应的技术和管理措施保障落地执行。数据交换基本依赖各厂商之间自己协调，困难重重，进度很慢，难以管理。 问题 描述 4 大量视图管理困难 数据交换通常是通过共享库中构建视图来实现，与MIS系统耦合紧密，无法复用。经过长时间运行后，大量视图的归属、用途、是否活动经常无人知晓，学校老师自己难以管理（通常是由厂商负责维护管理）。 当学校尝试使用共享库去支持一站式服务、数据分析、决策支持等场景时，才发现数据很乱难以识别。 5 接口费问题 新上MIS业务系统需要与其他系统数据对接的时候，经常被厂家要求交接口费（2万~10万不等），经常导致矛盾，增加校方成本。接口费不是一次性的，可能需要收很多次。 6 数据质量无保障 共享库中数据的完整性、准确性依赖于MIS系统的运行质量，通常难以保障。在数据交换场景下，共享库建设厂商可以不承担数据准确性责任。但是在大数据分析和决策支持场景下，数据不够准确将直接导致分析结果与现实不符或决策失败。传统三大平台厂商对数据质量问题缺乏处理经验和能力。

14 客户痛点： 共享库 数据接口 数据资产 概念 市场空间 驱动力 客户需求 客户痛点 覆盖有限 质量不高 缺乏标准规范 视图管理困难
后勤管理系统 图书馆管理系统 教务管理系统 共享库 覆盖有限 质量不高 缺乏标准规范 视图管理困难 管理受制于人 中间库 中间库 中间库 ETL/视图 ETL/视图 ETL/视图 学工管理系统 ETL/视图 数据接口 高额接口费 中间库 共享库 教学信息、科研信息、财务数据等 财务共享数据 教务共享数据 人事共享数据 …… 教师人员基本信息、学生基本信息、组织机构信息等 教师人员基本信息、组织机构信息等 ETL/视图 ETL/视图 中间库 中间库 人事管理系统 ETL/视图 ETL/视图 科研管理系统 数据资产 散落各处 难以整合利用 质量无人负责 管理归属不清 ETL/视图 ETL/视图 ETL/视图 ETL/视图 ETL/视图 ETL/视图 中间库 中间库 中间库 财务管理系统 资产管理系统 更多系统…

15 客户需求：我们如何帮助他们解决问题？ 问题 描述 1 数据资产不清晰
概念 市场空间 驱动力 客户需求 客户痛点 客户需求：我们如何帮助他们解决问题？ 问题 描述 1 数据资产不清晰 通过全校业务和数据调研，盘点清理数据资源，通过治理形成集成化、标准化的统一数据资源。同时，输出数据U/C矩阵、数据流向图等知识信息，使数据来源具备权威性；数据归属到明确责任部门、责任岗位；数据供需关系、流动路径有明确信息，从而形成清晰的全校数据资产。 共享库覆盖数据太少 基于调研得到的数据资源分布情况，全面采集数据，形成全量数据仓库。采集对象包括业务系统的在线数据、线下电子表格文件数据、日志类数据和互联网端数据，覆盖面远超共享库。全量数据仓库将支持综合性跨部门流程服务、决策分析、数据挖掘、可视化等应用场景，同时也可以替代原有的共享库作用。 2 缺乏标准规范 基于调研情况设计校级数据标准，并利用校标对数据仓库进行定义和建模，使治理后的成果数据符合统一的标准规范。同时后期还会推行数据标准遵循规范在全校推行落地数据标准。 问题 描述 4 大量视图管理困难 在一站式服务平台、微服务、移动校园等新兴综合化应用开发场景下，通过ROMA平台将数据以API接口对外提供服务，屏蔽了底层架构复杂性，解除了APP与底层数据之间的紧耦合关系。原有的基于视图的ETL过程，仅在传统的数据交换场景小范围保留使用。 5 接口费问题 数据仓库建设完成后，所有的数据资源发布均通过该平台完成，学校拥有完全自主的数据管理权，不再需要向厂商支付接口费。（最多只需要支付一次性费用进行数据采集） 6 数据质量无保障 数据治理过程中，会通过DLG对数据进行质量检查，配置质量规则和质量指标，进行检查后输出数据质量评估报告，并通过不同手段进行质量问题处理，最终使数据仓库的数据质量达到使用要求。

16 目录 行业现状与挑战 华为数据治理解决方案

17 数据治理解决方案 – 总体方案架构 ROMA CDM DLF 日志数据 线上业务数据 线下业务数据 数据服务 决策支持 数据挖掘 流程服务
……. 应用开发 ROMA 校级 数据标准 数据 管理 知识库 规范 学校基本 数据 学生基本数据 教学管理数据 人事管理数据 科研管理数据 后勤管理数据 日志分析数据 资产管理数据 历史数据 全量 数仓 主题 数据集 迎新主题 离校主题 职称评审 年终考核 教学资源 一网通办 … DWS 数仓组件 MRS 大数据组件 DLG数据湖治理 元数据管理 数据质量管理 数据自产产管理 数据治理服务 RDS 数据库组件 数据标准制定 数据结构采集 数据质量检核 数据接口监控 历史数据备份 有效数据识别 数据采集集成 制度规范咨询 数据采集 CDM 数据共享 数据交换 DLF 数据采集 上网记录 无线连接 身份认证 网络安全 日志数据 数据字典 教务 学工 资产 财务 科研 迎新 就业 校友 党建 一卡通 ……. 图书馆 线上业务数据 线下业务数据

18 数据治理解决方案 – 数据治理软件功能 CDM DLF RDS DWS MRS DLG ROMA 实现数据全量迁移
序号 产品名称 功能 在方案中的作用 1 CDM 实现数据全量迁移 [1]数据采集 [2]实现数据共享 2 DLF 数据湖工厂，含： [1]数据基础服务（DLF Common），提供DLF内部服务的身份、授权框架实现，包含权限管理和消息通知。 [2]数据集成服务（DI）,提供同构/异构数据源之间批量数据迁移,支持FILE、DB、DW、NoSQL等数据源。 [3]数据开发服务（DS）,管理多种大数据服务，提供一站式的大数据开发环境、全托管的大数据调度能力,可进行数据建模、脚本开发、工作流编排、运维监控等操作，完成整个数据的处理分析流程。 [4]数据治理服务（DG）,一站式数据治理平台，对数据资产进行梳理、质量监控、标准化、清洗等操作，提供数据资产相关的标准建设、资产管理、质量监控、安全共享。 [1]数据采集 [2]数据集成 [3]数据质量监控和清洗转换 3 RDS 基于RDB（关系型数据库）的数据库平台，提供传统数据库能力。 [1]作为ODS容器 [2]实现数据共享 4 DWS 基于MPP架构的数据仓库平台，提供海量结构化数据的存储和计算架构。 [1]承载治理后形成的成果数据 [2]实现自动化的历史数据留存。 5 MRS 基于Hadoop架构的数据仓库平台，提供海量数据（主要针对日志类数据）的存储和计算架构，及流处理、机器学习、消息订阅等组件。 [1]承载海量日志数据、互联网数据 [2]提供并行架构的海量数据处理和机器学习建模计算能力。 6 DLG 数据湖治理，提供元数据管理、数据质量管理、数据资产管理等功能。 [1]对数据治理进行过程管理，承载数据的结构信息、关系信息、质量信息。 7 ROMA 云计算框架下的应用和数据集成。包括服务集成、消息集成、数据集成等全连接，支撑跨“多云”应用、数据、服务、资源等的协同，达到内部互通、内外互通、多云互通。 包含: FDI:类ETL，实现数据的抽取、简单转换、加载。支持RDBMS、MSG、FILE等数据转换。 API Connect:包含API网关（服务网关，支持服务注册以及服务管控）、LiveData（服务编排、DB数据开放）、API Market（公共服务发布、服务订阅） MQS：基于RocketMQ内核，增加消息统一接入管控模块（Connector）、服务发现模块NameServer、跨中心路由模块(Router)，实现消息从发送方到消费方的路由和全链路监控。 [1]实现成果数据的封装发布

19 数据治理解决方案 – 数据治理软件功能 云数据迁移CDM功能截图 源数据连接 增量抽取 字段映射 定时任务

20 数据治理解决方案 – 数据治理软件功能 数据湖工厂DLF功能截图 数据管理 脚本开发 作业调度 作业监控

21 数据治理解决方案 – 数据治理软件功能 数据湖治理DLG功能截图 检测规则 质量检测结果 数据血缘关系

22 数据治理解决方案 – 数据治理软件功能 集成平台ROMA功能截图 服务集成总览 API封装 API分组 访问控制

23 数据治理解决方案 – 数据治理服务内容 质量检查 校级标准 制定 清洗转换 质量提升 数据调研 成果数据 数据识别 生成 数据封装 发布
序号 工作内容 工作内容简述 1 校级标准 制定 参考教育部推荐标准，引用国家强制标准，引入当前事实标准，形成最终的校级数据执行标准。 校标包含数据子集分类定义、元数据模型标准、代码标准、编码规则、命名规则、交换规范等。 校标所涵盖的数据范围就是数据治理输出的成果数据的范围目标。 依据校标在华为DWS中进行建表，形成成果数据的结构框架。 2 数据调研 对学校各部门的业务、组织架构、、数据等进行调研了解。 主要包括业务范围、组织机构、工作流程、数据来源、数据字典、数据形态、供需关系、交换共享要求、数据质量问题、标准资源、数据分析需求等进行调研了解。 3 数据识别 根据数据调研的结果，利用数据字典识别数据含义，与数据标准进行对照，标识数据权威来源，确定采集对象、采集范围和技术参数。 5 数据采集 对目标数据，利用华为DLF的DI（数据集成）组件进行采集。 其中数据库和表格数据存储在临时库ODS中，等待进行清洗治理。 //?日志数据通过华为Fusioninsight的Flume组件捕获存盘，利用DI（数据集成）组件进行采集、解析、转换。（通常对日志数据无需质量检测）？// 序号 工作内容 工作内容简述 6 质量检查 利用华为DLF的DG（数据治理）组件对ODS数据执行质量检测。 制定各种质量规则（如非空性、唯一性、数值分布、数值波动情况）。 根据每个字段应有的质量属性将质量规则绑定到字段上。 执行质量检查，形成数据质量报告，以便评估数据质量状况 7 清洗转换 质量提升 根据质量报告的内容，评估数据质量问题的内容、程度。 对于规则性问题，通过ETL的转换规则实现质量提升。 对于数据缺失、内容错误等问题，将问题数据和质量报告提交到数据对应的负责部门，由部门进行核实、填报。 数据修正后录入MIS中，通过再次采集、检查直至质量合格。 8 成果数据 生成 将清洗转换完成、符合质量标准的数据导入至DWS中的建模完成的表格中，形成符合校标的、质量达标、内容完整的成果数据。 9 数据封装 发布 DWS中的成果数据由华为ROMA平台进行封装，以API接口向各APP提供数据服务。 10 管理咨询 服务 通过前述过程分析学校在数据管理方面的薄弱环节、不合理管理模式，与校方一起设计和制定数据管理相关的规范和制度并推广执行，从根本上改变管理漏洞、部门矛盾、不规范操作，使数据治理的成果能够长期持续、不断进步。

24 数据治理解决方案 – 数据治理工作内容 制度规范建设 部署软件工具 管理办法 考核评估 管理机制 操作规范 生命周期 数据治理 数据平台
现状调研 数据采集 数据识别 标准制定 标准确认 抽取集成 质量检查 反馈修正 清洗转换 数仓建模 成果数据入库 历史数据积累 数据封装发布 采集 识别 清洗 治理 成果 发布 部署软件工具 数据治理 数据平台 采集建模 清洗转换

25 数据治理解决方案 – 数据治理工作流程 数 据 质 标 准 流 量 流 数据域 知识域 管理域 项目启动 架构制度设计 数据顶层设计
实施团队 咨询服务 架构制度设计 数据标准遵从 数据标准管理 数据生产职责 数据质量保障 数据安全职责 应用开发规范 交换共享规范 数据管理规范 制度规范实施 学校管理机构 治理需求和目标确认 项目启动 部门数据调研 数据来源确认 校标设计制定 字典匹配识别 人工内容识别 采集对象确定 数据字典 技术团队 部标、国标 按标准分类建模 历史数据存档 数据建模计算 数据交换共享 数据封装发布 应用程序调用 数据生成入库 API ETL或 DB View 日志采集 XLS采集 DB采集 数据集中 质量规则绑定 质量检核输出 非标数据清洗转换 质量 问题 分类 质量合规 结构 质量规则设计 数据纠错补全 反馈质量问题 设计清洗转换规则 业务部门 内容质量问题 校级数据标准 数仓主题分类 数据管理知识库 元数据模型 标准代码集 编码规范 对象命名规范 接口交换标准 数据质量标准 数据资产目录 元数据库 数据U/C矩阵 数据血缘关系 质量规则库 数据质量报告 数据域 知识域 管理域 制度实施执行 数据管理机构 数据分类、命名、技术架构、逻辑架构、物理架构、管理架构、开发架构、整合流程和架构… 数据顶层设计 标准定稿 成果输出 标 准 流 据 数 流 量 质

26 PowerDesigner：数据模型管理
数据治理解决方案 – 数据治理交付成果 【1】 校级数据标准 数据子集和元数据模型 【4】 管理知识库 数据现状报告 标准代码集 数据U/C矩阵 数据资产目录 元数据库 【2】 成果数据 全量、高质量、标准化 学校基础数据集 数据流向关系 学生管理数据集 数据质量规则库 教职工管理数据集 数据质量绑定关系 教学管理数据集 数据质量报告 资产管理数据集 ETL接口映射/转换信息 科研管理数据集 …… 财务管理数据集 日志数据集 【5】 制度规范 数据标准更新发布规范 数据标准遵从规范 权威数据管理责任 【3】 软件体系 PowerDesigner：数据模型管理 数据质量保障职责 华为RDS：结构化数据容器 数据安全保障职责 华为DLI、CDM：数据集成迁移 数据开发调用规范 华为DWS：数据仓库存储计算 数据共享交换规范 华为DLG：元数据、质量等 数据管理考核体系 华为ROMA：数据封装发布

27 数据治理解决方案 – 数据治理软件功能 数据标准 UC矩阵表 数据质量报告 数据流向关系