大数据时代数据仓库思考 贾丕星 成都 2014年6月20日.

Presentation on theme: "大数据时代数据仓库思考 贾丕星 成都 2014年6月20日."— Presentation transcript:

1 大数据时代数据仓库思考 贾丕星 成都 2014年6月20日

2 商业银行的挑战 资产质量下降 1 各类风险上升 2 5 更高的用户个性化需求 利率市场化冲击 3 互联网金融冲击 4

3 银行自身战略研究 集团一体化下的混业经营 复杂多变形式下的系统性风险防范能力 跨业务部门的协同 风险管理 综合定价 互联网金融

4 2 业务价值驱动 架构重定位 3 4 平台化 管控思维 1 5 协同

5 银行业务能力模型 国家开发银行作为一家政策性银行，从本质上讲仍然是“银行”性质
业务管理与支持 财务管理 财务预算 财务核算 管理会计 资负管理 风险管理 信用风险 经营计划 流动性管理 利率管理 资本配置 市场风险 操作风险 合规风险 监管资本 经济资本 风险治理与管理 合规管理 人行 银监 外管 业务运营 业务处理支持 信贷业务 投资或理财 理财产品 融资安排 财务顾问 ….. 基础核心 存款 支付结算 支付/交易/转账 会计核算 政策性项目贷款 民生普惠金融 特许性业务 海外贷款 汇款 现金/凭证 金融市场 同业业务 资金清算 外汇买卖 同业存放 同业拆借 衍生品交易 资产证券化 商品期货 票据 外汇 …… 业务协同 客户接触 客户管理 客户信息管理 客户分析 客户定价 客户风险 产品和 服务管理 产品信息管理 产品生命周期 产品组合 第三方产品管理 产品定价 增值服务管理 品牌管理 渠道管理 柜面渠道 互联网渠道 呼叫中心 自助设备 其他渠道 客户关系管理 营销管理 销售管理 决策支持 企业数据 智能分析 管理报告 绩效管理 公共支持 对外采购 人力资源 基础设施 企业发展 信息技术 资金管理 综合管理 综合定价 服务集成 内部审计 人民币金融债 外汇债券 离岸债券 债券发行渠道 助学贷款 保障住房贷款 平台贷款 技术援助贷款 国家开发银行作为一家政策性银行，从本质上讲仍然是“银行”性质 所谓开发性金融，从本质上讲，与商业金融同属信用经济范畴，只是二者的服务标的略有差别（商业金融以企业客户为主要标的，开发性金融以国家战略项目为服务标的） 因此，通用银行业务能力模型的主体框架仍然适用于开行（从前台-后台能力领域的划分：客户接触、业务协同、业务运营、业务管理、决策支持） 但是各个领域的内容侧重彰显开行特色。例如： 开行的业务特征（资金来源主要债券融资为主，资金使用以中长期贷款为主，收入主要依靠利差）表现在：渠道特色、信贷业务特色、金融市场业务特色 客户管理领域：在客户信息管理，客户综合分析，面向客户的定价策略，客户风险管理能力面上与商业银行具有共同性，但是其管理的客户本身与一般银行有差异，国开行的客户主要是国家战略项目的参与方，各级政府，民生保障范围下的个人客户，以及走出去的企业客户等。 构建开行业务能力模型，有助于在IT规划，以及数仓规划中，更贴近行内战略及业务需求，更有利于于IT系统的价值体现。

6 八大业务能力层规划 面向客户服务及营销管理，结合分析型CRM咨询，构建客户主题集市，实现对客户的分析管理和价值挖掘 面向产品和服务管理，建设支持综合定价等应用的数据加工服务，满足产品多元化发展和市场化定价需求 面向资产负债管理，在原有对资负应用数据支撑的基础上进行扩展和深加工，满足统筹的资产负债精细化管理需求 面向财务和绩效管理，在原有财务分析及绩效考核应用基础上进行数据扩展和深加工，满足事业部制公允核算与管理体系要求 面向风险管理，丰富优化风险集市，实现重要风险指标集中加工，提升运行效率，满足风险管控的前瞻性、针对性和时效性 面向业务运营，逐步构建面向快速运营管理与交易决策的数据支持能力，支持降本增效和精细化运营管理需求 面向合规管理，进行监管集市架构升级和模型扩展，满足各种监管报送差异化要求；增加审计数据服务，满足垂直独立内审体系要求 面向战略决策支持，深化数据挖掘类应用建设，提升精细化决策能力和快速响应的决策能力 1 2 3 4 5 6 7 8 业务能力要求 1、客户营销和渠道管理 3、资产负债管理 7、合规管理 5、财务与绩效管理 6、运营管理 8、战略决策管理 2、产品与服务管理 4、风险管理 已有的：从沉淀指标计算，提高效率的角度 内审的要求（审计集市） 扩展的：运营、客户、产品； 业务要求与后面的点要衔接

7 数据体系支撑的银行业务能力模型体系 1、客户营销与渠道管理 2、产品与服务管理 8、战略决策支持 7、运营管理支撑 5、财务与绩效管理
1.1 客户信息管理 1.2 客户分析 1.4 客户营销 1.5 客户风险 2.1 产品信息管理 2.3 综合定价 1.1.1 客户主数据 1.2.1 客户分群 1.4.1 目标营销 1.5.1 外部风险 2.2 产品生命周期 2.3.1 产品定价 1.5.2 关联风险 2.3.2 综合定价测算 1.3 客户定价 8.1 绩效管理 1.1.2 客户360视图 1.4.2 事件式营销 2.4 产品组合 1.6 渠道分析 1.5.4 客户风险预警 8.1.1 机构管理绩效 7、运营管理支撑 案例分享： 2013Q1，阿里金融放贷110万笔，平均每天放贷1.2万笔，坏账率0.87%；客户信贷提交、授信、审批、发放流程完全在互联网上完成； 阿里金融员工290人，技术人员120人，建模及数据分析人员60人，贷后风控30-40人…. 8.1.2 客户经理绩效 8.2 管理报告 5、财务与绩效管理 3、资产负债管理 8.2.1 高管报告 5.1 财务预算 5.3 管理会计 5.4 资金管理 3.1 经营计划 3.3 流动性管理 3.4 利率管理 8.2.2 内部管理报告 5.2 财务核算 5.3.1 盈利分析 5.4.1 头寸管理 3.2 资本配置 3.3.1 静态分析 3.4.1 静态分析 8.2.3 财务管理报告 5.3.2 成本分摊 5.4.2 资金需求预测与申报 3.3.2 动态分析 3.4.2 动态分析 3.5 FTP 5.3.3 MFTP/FTP 3.3.3 限额管理 3.4.3 利率报备管理 4、风险管理 4.1 信用风险 4.6 全面风险管理 6、合规管理 6.1 银监会 6.4 内审 4.1.1 信用评级 4.4 经济资本 4.2 市场风险 报送 6.2 人行 6.3 外管局 权重法 4.4.1 风险加权资本 4.3 操作风险 6.1.2 客户风险 6.2.1 大集中 6.2.4 利率报备 6.3.1 外汇账户 内评法 4.4.2 计量分配限额 4.5 监管资本 6.1.3 资本充足 6.2.2 征信 6.2.5 支付信息 6.3.2 国际收支 4.1.2 债项评级 4.4.3 压力测试 6.1.4 关联交易 6.2.3 反洗钱 6.2.6 存贷抽样 ………

8 从数据 -> 信息 -> 价值…… 数据 业务用户（信息转换） 业务价值（信息使用） 信 息 基础数据 非 结 构 化 大 数
客户 项目 合同 账户 高级数据分析人员 信 息 基础数据 数据支撑 被动推送使用 业务运营 事中事后监控 战略战术决策调整 价值创造 加工 计算 建模 分析 债券 票据 衍生品 同业 创造收入 Data as Utility 交易 渠道 营销 机构 ……… 非 结 构 化 大 数 据 按需主动探索 降低成本 客户汇总信息 项目汇总信息 账户汇总信息 机构汇总信息 汇总数据 普通业务分析人员 数据驱动 分析 提升效能 财务汇总信息 计算指标信息 统计报表信息 评级信息 Data as Enabler 预关联 预加工 预计算 数据库中分散、独立存在的大量数据对业务人员来说，只是一些无法看懂的天书，业务人员所需要的信息是他们能够看懂、理解并从中受益的抽象信息。此时，如何把数据转化为信息，使得业务人员（包括管理者）能够充分掌握、利用这些信息，并且辅助决策，就是商业智能主要解决的问题。 从数据到最后的价值（￥，KPI提升）中间的关键因素是数据-信息的转换，和信息辅助/改变/加速决策流程的过程，从而产生了价值。 如何把数据库中存在的数据变为业务人员需要的信息？大部分的答案是“报表系统”。简单说，报表系统已经可以称做市BI了，但是它是BI的低端实现，现在的国外企业和国内先进企业，大部分已经进入BI中端了，叫做“数据分析”。有些企业进入了高端BI，即“数据挖掘”。 某些实时决策的应用（例如事件式营销等）就是利用数据挖掘发现相关性，发现规则，这些相关性和规则本身就是信息，可以直接进入运营流程，实现实时决策，直接创造价值。 大数据往往是高度混杂的数据，往往需要从中快速发现相关性，这种数据量已经不是人工分析能够做到的，需要依靠IT系统捕捉相关性并应用于业务流程中 数据仓库对业务价值的贡献主要体现了2个方面：信息加工的深度，信息感知的程度（让需要信息的人随时能够获取，让信息能够智能推送） 仓库支持的信息转换程度越深，对业务价值的贡献就越直接，信息使用方式越智能，转换为业务价值的效率就越及时 数据作为Utility、Enabler和Driver的定位是同时存在的。 ……… 规避风险 智能推送 实时进入业务运营流程 实现实时决策过程 营销线索 风险预警 数据深度分析的结果转换为信息 数据创造 商业机会 ……… Data as Driver

9 数据价值评估 —— 价值九宫格 数据与业务集成的智能程度逐步增强，信息->价值的转换能力增强
数据加工深度逐步增强，数据->信息的转化能力增强 数据创造 ( Driver ) 数据洞察程度 数据驱动 ( Enabler ) 数据创造价值的能力逐步增强，智能、实时决策能力提升 数据支撑 ( Utility ) 接口推送 主动探索 智能交互 数据感知程度

10 基于价值评估的数据能力规划 价值 创新者 业务 驱动者 业务 支撑者 数据洞察程度 数据感知程度 数据创造 ( Driver ) 数据驱动
4.1.2债项评级 4.3操作风险 4.4.1RWA 4.4.2经济资本计量分配限额 4.4.3压力测试 4.2市场风险 4.1.1信用评级 阿里金融等互联网金融企业已经实现了客户信用评级自动嵌入业务流程，信贷全流程网上自动化 4.5监管资本 4.6全面风险管理 业务能力层已经整合了风险应用所需要的明细粒度数据及共性的加工汇总数据 信用风险、市场风险、操作风险及经济资本的计算模型均由应用系统能力层实现； 业务 驱动者 数据洞察程度 4.1 4.1 数据驱动 ( Enabler ) 4.2 4.2 4.3 4.3 明细汇总数据面向业务人员开放主动探索查询功能 4.4 4.4 附注： 1）市场风险一般都是采用专业的应用系统实现（中行-MUREX；中信-ALGO；平安-SUNGARD）；业务能力层一般只提供明细类数据/映射后的接口数据； 2）信用风险早期一般是由实施商现场开发的应用，模型构建一般有权重法和内评法；大型银行一般两种方式皆有； 3）操作风险大多是自行开发的应用，面临的最大问题是数据难以获取； 4.6 4.6 业务 支撑者 数据支撑 ( Utility ) 接口推送 主动探索 智能交互 应用支撑现状 业务能力层数据服务的目标 数据感知程度

11 高层决策用户 运营管理用户 业务分析用户 业务操作用户
新一代数据仓库逻辑架构设计 数据仓库数据管理 数据仓库数据质量管理 数据仓库元数据管理 数据仓库数据生命周期管理 数据仓库安全管理 源系统 数据区 集成型数据区 应用服务区 ODS平台 贴源模型层 数据仓库平台 主题模型层 共性加工层 业务能力层 视图隔离、语义层定义 服务层 用户访问层 结构化数据 境内集成 境内汇总 集团综合化汇总数据 客户营销和渠道管理 境内 业务 系统 战 略 决 策 管 理 报表查询平台 管理驾 驶舱 高层决策用户 运营管理用户 业务分析用户 业务操作用户 准实时数据 总行 用户 当事人 协议 产品 加工后明细数据 汇总数据 维度数据 交叉维度汇总数据 产品与服务管理 境外 业务 系统 统一报 表系统 资产负债管理 分行 用户 前日增量 渠道 主题模型层 交易 1104 村镇 银行 业务 系统 风险管理 应用服务平台 海外 分支 用户 资产负 债管理 前日快照 控股 公司 业务 系统 境外集成 财务与绩效管理 境外汇总 绩效 考核 村镇集成 村镇汇总 运营管理 短期历史 主动探索平台 控股公司集成 外部 市场 数据 控股公司汇总 市场 风险 村镇 银行 用户 外部数据集成 合规管理 计算规则引擎 信用 风险 非结构化数据 控股 子公司 用户 内部 日志 文档 等 管理 会计 数据挖掘平台 ESB 实时决策区 ESB 待建设 持续建设 仓库 门户 外部 互联网 舆情 等 Streaming 大数据平台 大数据处理区 外部 用户 历史数据存储区 统一数据采集/交换/调度平台

12 新一代数据仓库特征 数据多样化和多样化数据处理技术混合特征； 数据多层次和多层次数据处理特征； 集团化大型数据仓库规划；
决策的平台的组合特征； 决策传递效率的提升以及用户感知能力提升； 技术模块统一化特征；

13 基础平台符合MPP架构体系已 经成为必然的选择
平台考虑 多种技术组合特征 开源、开放和降低设备成本 逐步被考虑 基础平台符合MPP架构体系已 经成为必然的选择 未来如何平稳的过渡到 大数据战略的前瞻性考虑 企业级数据平台

14 宏观视野下的数据管控

15 数据团队和商业智能体系规划 规划、资源优化 运行 数据管控 元数据管理 数据标准管理 数据质量管理 数据生命周期管理 变更管理
平台设计与优化调整 统一的项目群技术方案评审机制 运行 数据管控 元数据管理 数据标准管理 数据质量管理 数据生命周期管理 变更管理 全流程影响性分析 需求 开发 测试 投产 模型

16 协同 数据=协同 技术与业务的纽带 产生既被分析 分析与运营优化

17 © Pactera. Confidential. All Rights Reserved.
感想：绿皮车遇见特斯拉 订单热区指引/结伴返程安排 司机上线/RMF贡献测评 司机评价系统/欺诈逃费检测 供需预测/司机招聘辞退 传统行业的的问题： 从业务需求热点到产生数据专题分析思路；从数据产生决策到应用与指导经营管理。这两个环节的低效率和沟通瓶颈一直是传统产业需要解决的问题。 互联网思维的冲击： 快、准；快是第一位，快意味着市场先机。 具备快速响应能力，服务于业务部门的数据分析组织是打破一潭死水的鲶鱼。 跨部门协同是当代金融企业领导高层治理中应该解决的问题。 © Pactera. Confidential. All Rights Reserved. 17

18 谢 谢！