数据仓库和数据挖掘 DATA WAREHOUSING AND DATA MINING 经济科学室验室 2004.6.

Presentation on theme: "数据仓库和数据挖掘 DATA WAREHOUSING AND DATA MINING 经济科学室验室 2004.6."— Presentation transcript:

1 数据仓库和数据挖掘 DATA WAREHOUSING AND DATA MINING 经济科学室验室 2004.6

2 主要内容 数据仓库简介 数据挖掘简介 ORACLE 数据仓库和数据挖掘解决方案

3 什么是数据仓库 ? 数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。

4 数据仓库与数据库的区别 数据仓库 数据库 面向分析型数据处理 面向事务型数据处理 对多个异构的数据源的有效集成 数据库之间相互独立且异构
数据相对稳定 数据实时更新 反映历史变化 通常关心当前数据

5 数据仓库的体系结构 Olap对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势

6 什么是数据挖掘 ? 数据挖掘是一个利用各种分析方法和分析工具在大规模海量数据中建立模型和发现数据间关系的过程，这些模型和关系可以用来做出决策和预测。 客服信息 销售信息 库存信息 顾客数据到处都是，谁才是我的顾客？ 数据挖掘应建立在联机分析处理(On Line Analytical Processing，OLAP)的数据环境基础之上，而数据仓库技术能够满足数据挖掘技术对数据环境的要求。它从OLTP系统、异构分散的外部数据源、脱机的历史业务数据中获取数据并进行处理 。 市场信息 订单目录 市场数据库

7 数据挖掘能做些什么？ 数据特征化和数据区分 关联分析 分类和预测 聚类分析 孤立点分析 演变分析
1、利用数据挖掘系统产生对一年内在某类产品上花费过万元的顾客特征汇总描述；不通购买力的顾客群所具有的不同特征。 2、对年龄在20－29岁，年收入在2万－3万之间的顾客购买某一品牌CD机的可能性分析。啤酒？尿布？ 3、根据对销售情况反应好、中、差的不同，确定每一类中商品的特征描述，如brand，price，type，place_made等，帮助设计有效的销售活动。 4、根据一个城市内顾客位置的2D分布，找出顾客密集区，形成聚类。 5、outliner 通过检测一个给定帐号与正常的付费相比，发现信用卡欺骗 。 6、描述某产品在某区域随时间变化的销售趋势，对销售计划和投资作出决策。

8 数据挖掘的常用方法 决策树 相关规则 神经元网络 遗传算法 可视化 OLAP联机分析处理 统计方法

9 ORACLE 数据仓库和数据挖掘 解决方案 Data Warehousing M e t a d a t a ETL OLAP
Data Mining M e t a d a t a Oracle 提供对数据仓库的全面支持，它提供了一系列的集成工具。利用这些工具可以帮助我们创建、管理和维护企业数据仓库，同时，利用数据仓库中的数据进行数据挖掘，提供决策分析。

10 Oracle 提供的数据仓库工具 及其功能介绍
SQL *Loader工具 Oracle Warehouse Builder (OWB) 是Oracle Developer Suits 中的一个组件，用于创建数据仓库。

11 Oracle9i 数据库 一个对象关系型数据仓库，用于存储大量的数据。

12 SQL *Loader工具 用于将数据装载到数据仓库中。这些数据包括Oracle数据库中的数据，其他数据管理系统中的数据和外部数据。开发人员可以利用这两种工具将多种数据源融合在一个单一的存储系统中，并加以管理，从而为最终用户提供对这多种数据源的无缝访问。

13 Oracle Warehouse Builder
OWB是Oracle Developer Suits 中的一个组件，是用于设计、实现、和管理企业数据仓库和数据集市的集成系统。 通过向导驱动的用户界面来进行数据映射、元数据导入，利用预定义的转换库，能够减少设计和实施时间。 自动生成代码，并且通过校验程序保证编码的正确性和唯一性，按照部署的要求生成不同的编码类型。 OWB是用于设计、实现、和管理企业数据仓库和数据集市的集成系统。

14 Oracle Warehouse Builder
提供可视化的直观映射和转换工具、对多维数据的拖放功能，以及一个用于管理仓库的系统外门户解决方案，降低设计和开发数据仓库和数据中心的复杂度。 OWB为事实表和维度表提供向导和图形编辑器。 OWB全面应用Oracle9i 的分区、索引和总结管理等特性，与数据库的紧密集成允许Oracle9i 作为一种转换引擎使用，排除了增加转换服务器的需求。

15 Oracle Warehouse Builder
利用OWB组件——文件集成器，实现从文本文件中提取数据。 OWB包括一个全局共享库（Global Shared Library)，用于存储可重复使用的转换。 OWB软件还包括Oracle Pure Integrate 和OWB Integrator for SAP R/3, 前者是将数据客户集成以形成战略性电子商务项目基础的软件，后者是对SAP特有的ERP数据进行强有力报表制作和分析的集成桥梁。 SAP:当今国际流行的德国先进物流管理系统

16 OWB的开发过程 逻辑数据库的定义 数据仓库的构架 商业结构 数据源和目标 提取、转换和装载操作的映射 定义；生成；装载和管理

17 OWB的开发过程 物理数据仓库实例的配置、合法化和部署 DDL脚本，用于创建数据仓库和框架对象之间的关系
PL/SQL、SQL*Loader 和Tcl脚本，用于提取数据、映射和转换数据，然后将其装载到物理实例中 数据仓库的物理实例是通过配置定义集合来描述的。配置以后的逻辑定义被合法化，然后用于生成创建 和管理物理实例的脚本集合。

18 OWB的开发过程 装载和管理 Oracle Enterprise Manager ，用于调度单个工作或是Oracle Workflow进程。

19 Oracle 提供的数据挖掘工具 及其功能介绍
Oracle9i Data Mining Oracle9i OLAP 工具集 Oracle Discoverer Oracle Express系列 Oracle Express Analyzer Oracle Express Objects Oracle Express Server

20 Oracle9i Data Mining 提高应用软件的预测力和洞察力 将数据挖掘功能嵌入 Oracle9i 数据库中
基于 Java 的 API 是Oracle9i 企业版的一个选项。 Data Mining

21 提高应用软件的预测力和洞察力 利用DM，公司能够构建高级商务智能应用程序、对公司的数据库进行挖掘、发现新的有用信息并将其集成到商务应用程序中。 利用DM，公司能够提高在客户关系管理（CRM），企业资源计划（ERP），网页入口和无线应用等商务智能方面的能力。 鉴别最有利可图的消费者，避免客户流失 获得新客户，对已有客户进行交叉销售 检测欺诈行为 预测零件质量 寻找病人、药品和疗效之间的关系

22 数据挖掘功能的内嵌 Oracle9i Data Mining 将数据挖掘功能嵌入 Oracle9i 数据库中，用于分类、预报和关联。所有的模型构建、评分、以及元数据管理操作经由基于 Java 的 API 来启动并完全在该关系数据库中发生。 采用贝叶斯法则进行预测和分类 运用关联规则检测隐藏于数据库中“相关”或并发事件 自动提取商务信息并将其整合在其他应用软件之中

23 基于 Java 的 API 商务智能（BI）开发人员可以使用基于Java的应用程序接口（API）来开发基于预测的应用软件。
自动执行数据挖掘进程，为消费者打分以及产生需求预测。 通过查询、分析和报表生成器产生新的数据挖掘信息。 支持应用程序的集成。

24 Oracle9i OLAP工具  企业级OLAP可将跨部门的数据紧密地联系在一起，从而使所有用户在一个共同的信息基础上。它帮助用户使用数据仓库中的所有数据。 企业级OLAP还能够超越数据仓库的范围，集成来自其它独立系统的数据，这些系统可能是关系型数据库或者外部的文件系统。这种集成使得新型应用，如：基于事实的促销、基于行为的定价以及产品利润分析等能够跨越单一部门的界限。  通过使用OLAP工具Oracle Express Objects，Oracle Express Analyzer和Oracle Discoverer 3.0，公司现在能够迅速建立和实施上述这些应用。预制的OLAP应用，即Oracle Financial Analyzer，Oracle Financial Controller和Oracle Sales Analyzer，进一步减少了实施时间和费用。

25 Oracle Discoverer 是Oracle公司面向 决策支持系统OLAP工具集的组成部分。它是一个直观的随意查询、报告、搜索和Web公布的工具。 它能够帮助公司内部各个层次的商业用户，获得迅速访问关系型数据库、数据中心或者联机事务处理系统中数据的能力。

26 Oracle Discoverer User Edition提供了超乎寻常的易用性，通过任意深入能力、旋转和图表，给予用户强大的数据探索能力。 Administration Edition提供了一个易于使用的基于服务器的强大的最终用户层(End User Layer™) 。 对于那些需要集中精力处理商业问题而不是数据问题的最终用户而言，End User Layer为他们隐藏了数据结构和相互关系的复杂性。

27 Discoverer 支持下面的新特性: 自动摘要管理 oracle 应用的支持 标志 改变计划业主 分析功能 经常跨省旅行？
想要一部手机？ 有两个女儿？ 经常跨省旅行？ 为她提供： 覆盖域更广的 数字电话计划 针对她女儿的 应急计划

28 Oracle Express系列 通过使用Oracle Express ： 分析咨询人员能够很轻松地从各自的视角观察数据
产品经理能够跨越许多时间段和市场区域研究她负责的某个产品 财务经理可以集中在当前或者以前的时间段，研究所有的市场和产品 地区经理可在某些地区的所有时间段上考察所有产品 策略规划人员可以集中在公司数据的某个集上，如在当前和下个季度，仅在西部地区销售的某个新产品。

29 Oracle Express Analyzer
通用的、面向最终用户的报告和分析工具，它采用面向对象技术，在Oracle Express Analyzer中能运行任何Oracle Express Objects应用。  在Oracle Express Analyzer的一个基石性对象是简报(briefing)。一个简报由若干页组成，每一页上包含由可重用的对象建立的面向主题的分析。这些对象是交互的、用户能够旋转、深入和查询任何一张简报页中的表格或者图形，以运行他们自己的即席分析。

30 Oracle Express Objects
是最早出现的用于建立C/S上OLAP应用的面向对象的可视化开发环境。 提供图形化建模和假设分析功能 。 通过使用标准的Microsoft对象连接嵌入技术(OLE)，实现对第三方软件开放。例如能够使用一个OLE控件显示销售某公司产品的商店。 通过使用代理程序、预警程序和OLE控件，可以监控存货水平，当存货水平下降时向管理人员报警，自动提高主要产品的存货水平。

31 Oracle Express Server 是一个先进的计算机引擎和数据高速缓存。
支持最能反应用户对其业务思考方法的多维模型，而且具有分析、预测、建模，以及对数据进行假设分析(what-if)的能力。 具有用于数学、财务、统计和时间序列管理等方面的内置功能 。

32 Oracle Express Server 具有伸缩性、强健性和基于应用的特性，支持多个用户访问，并且为大型数据库实现数据完整性控制。
Oracle的开放策略允许实施企业OLAP的公司自由选择所需的关系型数据库、开发工具和用户界面，其中包括用户化的Windows前端、电子表格和WWW，从而获得最大限度的灵活性。

33 Oracle 开发工具简介 Designer －提供了在RAD风格的用户界面下开发企业Web应用和客户/服务器应用的集成式解决方案。
Developer 提供有一个集成式工具集 ，能够实现企业的Internet计算环境 Jdeveloper 一种高效的3GL编程工具，可用来为客户应用建立数据敏感的Java部件

34 Oracle 开发工具简介 Programmer 为应用编程人员提供一套完整的编程接口和全面的应用开发解决方案 Reports
用于企业范围内进行“高逼真度”的Web数据库发布和报告

35 谢 谢