数据仓库基础培训 山西项目组 2010.6.

Presentation on theme: "数据仓库基础培训 山西项目组 2010.6."— Presentation transcript:

1 数据仓库基础培训 山西项目组 2010.6

2 Agenda 1 BI概要介绍 2 山西移动业务介绍 3 山西移动经营分析系统 4 山西移动经分关键主题域

3 BI是什么？ BI(Business Intelligence)即商业智能，是一种以计算机为工具，应用决策科学及有关学科的理论与方法，以人机交互方式辅助决策者解决半结构化和非结构化决策问题的信息系统。 最早在1996年提出，初期BI定义为一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。目前，BI通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。 商业智能能够辅助的业务经营决策，既可以是操作层的，也可以是战术层和战略层的决策 BI是数据仓库(DW)、联机分析处理(OLAP)和数据挖掘(DM)等技术的综合运用，可看做一种解决方案。 在中国移动系统建设中，BI系统称之为经营分析系统。

4 BI涉及技术-DW DW特点 数据仓库(DataWarhouse)是一个面向主题、集成、时变、非易失的数据集合,是支持管理部门的决策过程。
面向主题(Subject Oriented) 数据仓库通常围绕一些主题，如“产品”、“销售商”、“消费者”等来进行 组织。数据仓库关注的是决策者的数据建模与分析，而不针对日常操作和事务的处理。因此，数据仓库提供了特定主题的简明视图，排除了对于决策无用的数据 集成(Integrated) 数据仓库通常是结合多个异种数据源构成的，异种数据源可能包括关系数据库、面向对象数据库、文本数据库、Web数据库、一般文件等 1 2 DW特点 时变(Time Variant) 数据存储从历史的角度提供信息，数据仓库中包含时间元素，它所提供的信息总是与时间相关联的。数掘仓库中存储的是一个时间段的数据，而不仅仅是某一个时刻的数据 4 非易失(Nonvolatile)的数据集合 数据仓库总是与操作环境下的实时应用数据物理地分离存放，因此不需要事务处理、恢复和并发控制机制。数据仓库里的数据通常只需要两种操作：初始化载入和数据访问，因此其数据相对稳定，极少或根本不更新。 3

5 BI涉及技术-ETL ETL是什么？ 目的 关注 将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。
数据抽取（Extract）、转换（Transform）、装载（Load） 目的 将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 关注 数据是从几个业务系统中来，业务系统是省集中还是市集中，数据的抽取周期，增量还是全量。 数据提供端 数据接收端 文件 文件 文件 业务系统 接口服务器 接口服务器 接口服务器 接口服务器 ETL ETL 服务器 服务器 数据仓库 数据仓库 加载临时区 加载临时区 数据库

6 BI涉及技术-OLAP OLAP(联机分析处理) 是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。 切片和切块(Slice and Dice) 钻取(Drill) 旋转(Rotate) ROLAP/MOLAP/HOLAP

7 BI涉及技术-DM 数据挖掘(Data Mining)是从数据中自动地抽取模式、关联、变化、异常和有意义的结构。
数据挖掘大部分的价值在于利用数据挖掘技术改善预言模型。 关联 分类 聚类 决策树 神经网络

8 BI发展方向 BI的建设是一个过程，而不是一个项目 统计 分析查询 分析预测 持续数据更新和快速查询 第一阶段： 发生了什么? 第二阶段：
主要是批处理统计查询 统计 分析查询 第二阶段： 为什么会发生? 动态查询分析功能逐渐增加 第三阶段 将会发生什么? 分析预测挖掘模型 分析预测 持续数据更新和快速查询 第四阶段： 正在发生什么? 持续数据更新及快速响应查询 第五阶段： 希望发生什么? 战略与战术的结合 事件驱动 BI的建设是一个过程，而不是一个项目

9 国内BI行业应用

10 国内BI行业前景 金融：在BI领域投资稳步增长，每年均有大量的BI需求，操作型BI应用越来越广泛，尤其是信贷评审领域。中小型银行BI需求也不断涌现，未来将是金融行业BI市场的主要增长点。在未来5年时间里，BI应用在金融行业仍将高速发展。 电信：电信行业信息化程度很高，对信息化依赖很强，积累了大量的数据，具有实施商业智能项目的基础条件和资金实力。电信行业对于BI深入应用是最渴望的，在话费套餐设置、客户潜力分析等都需要数据挖掘技术来提供决策依据。在这些行业，实力雄厚的BI厂商已占据有利的地位。 保险：大型保险公司中基本已经建立商业智能相关系统，并发挥了一定的作用。但是随着新业务的推出，系统地后期开发和维护仍然需要大量的投资。据ChinaBI了解，中小型保险公司也还有待加强商业智能系统的建设。 能源：石油和电力等能源行业的企业，均是国有大型企业，基本上已经实施了商业智能系统，但是还有待深入挖掘商业智能的价值。这些企业的省市分公司，将会不断有新的需求涌现，发展潜力较大。

11 国内BI行业前景 烟草：各地烟草企业已经建立很多商业智能系统，但是还有更大的空白市场。烟草公司项目建设难度低、利润大，应用前景不错。
政务：商业智能在电子政务中的应用，更多的涉及到报表填制、数据统计，需要报表系统能很好的满足中国特色报表的要求。一般采用自上而下的市场推广手段会前景广阔。 航空：国内的航空公司，也在逐步深入BI系统的建设。 制造：制造业的企业信息化水平参差不齐，有些大中型企业已经成功使用商业智能技术，但是大部分企业基础信息化水平仍未达到，随着这些企业的信息化水平逐步提高，建设商业智能系统的需求也会随之而来。随着金融危机的度过和国内经济的恢复，制造业将是未来商业智能新的增长点。 零售：一些大型的超市、百货、电器、手机等销售企业，绝大部分已经实现了连锁，基础信息化建设程度高，商业智能技术已经应用较广泛，未来还有进一步的应用空间 据ChinaBI预测，未来商业智能在各行业均稳定发展，新的利润增长点主要集中于金融和制造业。

12 BI厂商列表 下表列出了截止到2009年中国大陆地区的主要BI厂商 厂商 产品及简介 IBM
DB2以及Cognos、SPSS、DataStage，覆盖BI全部领域 Oracle Oracle、Hyperion，覆盖BI全部领域，数据挖掘领域有待加强 Microsoft SQLServer，覆盖BI全部领域，适合中小型企业，性价比高 Informatica Informatica，主要是数据集成领域 Teradata Teradata，主要是数据仓库领域 Sybase SybaseIQ，主要是数据仓库领域 SAP BusinessObjects、CrystalReports，主要是OLAP和报表领域 SAS SAS，数据挖掘领域领先 奥威智动 Power-BI，主要是OLAP和报表领域，行业解决方案 尚南 BlueQuery，主要是OLAP和报表领域（已被用友华表收购） 润乾 润乾报表，主要是OLAP和报表领域 探智 Trinity，主要是数据集成领域

13 国内BI厂商关注度

14 BI发展趋势 BI发展趋势 企业并购和重组仍将继续 操作型BI应用得到发展 MDM将在大型企业中逐步应用 数据分析从简单走向深入
数据集成应用得到重视 SAAS BI将得到快速发展 中小企业BI应用逐渐扩大市场份额

15 职业技能要求 技术人员 业务人员 1、熟练掌握移动业务 1、Teradata数据库使用 2、业务分析方法 2、熟练编写SQL及SQL优化
3、ETL 4、OLAP 5、JAVA 1、熟练掌握移动业务 2、业务分析方法 3、沟通表达能力 4、文档能力

16 Agenda 1 BI概要介绍 2 移动业务介绍 3 山西移动经营分析系统 4 山西移动经分关键主题域

17 营业总体数据流图 欠费提醒 实时帐务 用户 业务受理 三户资料 业务变更 信用管理 统一开通 订单管理 黑名单管理 缴费 销帐 帐单
积分管理 HLR

18 集团规范定义的三户模型

19 内蒙BOSS的三户模型

20 用户域模型

21 客户域模型

22 帐户域模型

23 数据业务分类 按用户划分 按通讯信道划分 个人数据业务 集团数据业务 语音增值业务 SMS信道 无线数据业务信道 GPRS/EDGE/3G
短信，彩信，彩铃，飞信，GPRS,手机报，来电显示，来电提醒，语言信箱，手机邮箱，pushmail,语音杂志，号簿管家，随E行，WLAN业务等。 集团数据业务 集团彩信、无线PBX、集团VPMN、企业信息机、BLACK Berry、IDC、企业随E行、农信通、银信通、航信通、校信通等。 按通讯信道划分 语音增值业务 彩铃、来电显示、来电提醒、主叫隐藏、电话会议、语音信箱、语言秘书、语言杂志(IVR) SMS信道 短信，梦网短信，银信通/航信通/校信通等 CSD信道 CSD手机上网 无线数据业务信道 GPRS/EDGE/3G GPRS无线互联网、WAP手机上网、彩信(MMS)、手机报、飞信、pushmail、手机邮箱等，无线DDN等。 WLAN/WiMAX Wlan、随e行、企业随e行、wlan无线互联网等。

24 数据业务分类(续) 移动自营运营 移动与SP合作运营 按合作运营方式 用户 中国移动 SP CP
点对点短信、点对点彩信、飞信、手机报中的新闻早晚报、彩铃平台、GPRS上网、中央音乐平台、手机上网 移动与SP合作运营 梦网短信、非中央音乐平台下载的手机铃音和彩铃、12530(IVR)、其他SP提供的手机报、梦网彩信。 用户 中国移动 SP CP 手机报 中央音乐平台 飞信

25 Agenda 1 BI概要介绍 2 山西移动业务介绍 3 山西移动经营分析系统 4 山西移动经分关键主题域

26 山西移动策略 市场为导向 效益为目标 客户为中心 山西移动策略 经分系统辅助完善业务策略制定以及业务策略执行

27 中国移动运营发展

28 移动经分建设背景 企业运营需要 需要确定业务原因 上市业务公告 企业管理决策 市场战略调整 绩效考核 市场反应和主动营销 失去时间意义
周期冗长 报表繁多 信息不完整 无法核对 失去时间意义 新的报表要求 数据上报 其它 帐务 运营 数据

29 移动经分建设背景 呼叫中心 大客户 BOSS VGOP 财务 门户系统 网管
业务发展快，系统林立，数据分散缺乏统一标准，数据存在大量的不一致 由于信息不准确，不完整，无法实现精确营销理念； 缺乏企业内部的信息共享架构，从整 个企业范围来看，存在信息孤岛的隐患 数据->信息->知识的有效转化较少，并且分析结果不能有效地反馈回操作环境中去。 呼叫中心 大客户 BOSS VGOP 财务 门户系统 网管

30 移动经分建设目标 提供数据标准，统一数据格式，建立企业级数据仓库，形成统一数据平台，实现信息共享。
按主题域组织数据，实现信息统一，增强数据的相关性，减少信息歧义，为统计分析提供大量的数据准备，降低分析的难度。 用专业分析工具提供丰富的分析手段和数据展现，缩短数据查看的反应时间，提高数据质量。为管理决策、业务分析提供依据。 对海量的、历史的数据进行深加工，实现精细化营销，提升企业的运营水平和竞争力，提高企业决策的准备性和及时性，为企业运营服务。

31 NG-1 BASS2.0 2.0 NG-1 BASS1.0 1.5 1.0 营销管理平台优化 产品分析与运营 员工绩效管理 数据封装
硬件：2*4855，磁盘/数据容量2.88TB/2TB 硬件：10*5380，磁盘/数据容量新增20TB/15TB 硬件：2*5380+6*5450 ，磁盘/数据容量新增30TB/22.5TB 硬件：6*5450+(3+1)* 5500c，磁盘/数据容量新增46TB/32.5TB NG-1 BASS2.0 2.0 NG-1 BASS1.0 1.5 应用： 建立信息门户，扩展系统使用范围； 深化数据集市应用，提升专项业务应用能力； 提升系统业务支撑能力，满足各业务部门发展需求； 完善经营分析数据质量管理系统，提升数据管理能力。 应用： 通过数据集市完成对“地市信息化”工作的支撑； 全面支撑数据业务、集团客户、渠道、位置分析等功能； 通过营销功能的丰富，提升市场一线支撑能力。 营销管理平台优化 产品分析与运营 员工绩效管理 数据封装 客户标签 统一数据视图 安全管理 1.0 应用： 优化系统架构； 建立信息穿越机制； 整合与深化客户分析与运营，提升营销与服务能力； 完善业务分析与数据管理功能。 应用： 搭建数据平台； 形成统一数据视图。 2002 2005 2007 2008 2009

32 中国移动经分两级系统架构

33 经分网络框架

34 经分系统网络拓扑图

35 山西移动经分逻辑架构

36 山西移动数据仓库逻辑架构 数据仓库系统 PCDE2 BASSDATA2 PSMART2 TTEMP KPI MART2 RPT PMART2
DM PVIEW2 PMID2（EAI） PCDR2 PDATA2 PTEMP2

37 Agenda 1 BI概要介绍 2 山西移动业务介绍 3 山西移动经营分析系统 4 山西移动经分关键主题域

38 关键主题域 客户信息、客户属性、帐户客户关系、TD用户信息、拍照用户信息、帐户信息、黑名单信息、客户统一视图等 参与人(PAR)
事件域(EVT) 营业业务受理、卡销售受理、特服变更受理、工号操作受理、积分消费受理、交费受理、积分换取预存信息、手机回馈信息等 使用行为(BIL) GSM语音、手机电视、会议电话、手机电视、互联短信、IP直通车、梦网短信、KJAVA业务、集团短信、彩铃业务、VPMN语音、呼转语音、IVR本地语音杂志、娱音在线、无线音乐俱乐部短信、WLAN业务等 产品域(PDT) 产品信息、产品捆绑信息、产品转入转出信息、产品订购、产品生命周期等 客户帐务(FIN) 用户账单明细、神州行明细帐单、IMEI绑定用户帐单、用户欠费、有线电视分摊等

39 关键主题域 集团客户(GRP) 集团客户信息、集团成员信息、集团客户投诉、集团彩铃信息、集团客户偏好、集团客户缴费、集团客户业务使用、集团客户产品订购、集团客户收入、集团欠费信息、集团客户价值等 结算域(BAL) 网内漫游结算、网间短信结算、网间语音结算、与SP结算等 资源域(RES) 代理商资料表、卡资源表、缴费卡缴费流水表、SIM卡资源、渠道实体代理基础信息表、实体渠道信息、渠道人员信息、终端功能信息、定制终端厂商信息、终端型号信息等 营销事件(EAI) 营销活动信息、营销活动评估产品信息、营销活动推荐业务类型、营销活动后评估、营销活动执行结果等 服务域(SER) WAP掌上营业厅用户访问信息、自助终端使用日志、短信营业厅用户交互事件、呼叫中心客服受理、网上营业厅业务受理、外呼明细、USSD营业厅日志表等

40 关键主题域关系 服务通过网络实现 / 网络支持服务 网络产生事件 / 事件包括网络类 产品被销售给客户 / 参与人使用和管理产品
根据行为明细，生成帐务信息 事件包含财务类 参与人产生和经历事件 / 事件包括参与人的 产品/服务产生事件 事件包括产品类 营销产生事件 事件实现营销 营销被锁定位置 / 位置定位 营销针对特定产品 / 产品通过营销推向市场 为参与人建立帐户、帐单 / 记录帐户、成本和付款 服务使用的帐务信息 / 帐务记录产品的成本和付款 定位网络/ 网络支持的位置 营销的目标针对参与人 / 参与人是营销的受众 包括消费者和运营商在内/ BILLING （消费行为） FINANCE（帐务） Resource （网络资源） PRODUCT （产品） MARKETING （市场营销） LOCATION （地域） PARTY （参与人） EVENT (事件) 消费行为具体到客户

41