大数据应用人才培养系列教材 大数据实践 刘 鹏 张 燕 总主编 袁晓东 主编 黄必栋 副主编.

Presentation on theme: "大数据应用人才培养系列教材 大数据实践 刘 鹏 张 燕 总主编 袁晓东 主编 黄必栋 副主编."— Presentation transcript:

1 大数据应用人才培养系列教材 大数据实践 刘 鹏 张 燕 总主编 袁晓东 主编 黄必栋 副主编

2 大数据应用人才培养系列教材 第一章 大数据概述 1.1　从数据库到大数据库 1.2　大数据库的类型 1.3　大数据库的应用 习题

3 1.1从数据库到大数据库 传统关系数据库 Oracle、SQL Server、Mysql、DB2、SyBase、SqlLite。
第一章 大数据概述 传统关系数据库 Oracle、SQL Server、Mysql、DB2、SyBase、SqlLite。 容易理解、使用方便、易于维护。 难以满足高并发读写需求；难以满足海量数据的高效率读写；扩展性差。

4 1.1从数据库到大数据库 大数据库 以NoSQL（Not Only SQL）为代表的用于存储、管理、分析海量数据的系统称为大数据库
第一章 大数据概述 大数据库 以NoSQL（Not Only SQL）为代表的用于存储、管理、分析海量数据的系统称为大数据库 数据体量巨大；数据类型多样；处理速度快；价值密度低。 NoSQL典型地遵循CAP理论和BASE原则。 CAP理论可简单描述为：一个分布式系统不能同时满足一致性(consistency)、可用性(availability)和分区容错性(partition tolerance)这三个需求，最多只能同时满足两个。 BASE原则是指Basically Available（基本可用）、Soft State（软状态）和Eventually Consistent（最终一致性）。

5 大数据应用人才培养系列教材 第一章 大数据概述 1.1　从数据库到大数据库 1.2　大数据库的类型 1.3　大数据库的应用 习题

6 Apache Software Foundation
1.2大数据库的类型 第一章 大数据概述 按数据存储方式和处理数据的类型分类 大类型 小类型 代表产品 厂家 key-value存储数据库 key-column Hbase Apache Software Foundation Cassandra Voldemort Amazon key-value Redis Redis Labs key-value cache GemFire Pivotal Inc key-document MongoDB MongoDB Inc CouchDB 文档数据库 MongoDB Inc. 图数据库 Neo4j Neo Technology Inc AllegroGraph Franz Inc.

7 大数据应用人才培养系列教材 第一章 大数据概述 1.1　从数据库到大数据库 1.2　大数据库的类型 1.3　大数据库的应用 习题

8 1.3大数据库的应用 1. 离线分析方面的应用，百度作业帮 （1）线上业务系统用云主机解决负载均衡及海量存储问题。
第一章 大数据概述 1. 离线分析方面的应用，百度作业帮 （1）线上业务系统用云主机解决负载均衡及海量存储问题。 （2）将线上业务系统与离线数据平台分离。线上业务系统实时为用户提供服务，离线数据平台提供报表分析等功能。 （3）日志服务BLS收集运行数据，存储到BOS中，然后使用百度MapReduce对数据筛选、清理、存储，最后接入报表系统。百度MapReduce是Hadoop/Spark集群。

9 1.3大数据库的应用 2.实时事务处理的应用, 腾讯点广通
第一章 大数据概述 2.实时事务处理的应用, 腾讯点广通 广点通利用HBase + Storm构建了广告日志实时处理平台，解决了实时数据回流和统计的问题。

10 1.3大数据库的应用 3.高并发，低延迟，实时事务应用, 12116互联网售票系统
第一章 大数据概述 3.高并发，低延迟，实时事务应用, 12116互联网售票系统 年份 尖峰日PV值 放票次数 网络带宽 订单处理（张/秒） 2012 10亿 4次 1.5G 200 2013 15亿 10次 3G 450 2014 144亿 16次 5G 1000 2015 297亿 21次 12G 1032 Gemfire可以将数十台或者数百台廉价PC服务器组建成一个集群。 内存中进行计算。 定期将数据以同步或异步方式写到磁盘。 有磁盘数据作为备份。

11 大数据应用人才培养系列教材 第一章 大数据概述 1.1　从数据库到大数据库 1.2　大数据库的类型 1.3　大数据库的应用 习题

12 习题： 1.传统关系型数据库通常支持事务处理，数据库事务拥有四个特性，习惯上被称之为ACID特性。查阅资料简述什么是ACID特性。
2.你认为大数据库能否取代传统关系数据库吗？简述理由。

13 AIRack人工智能实验平台 ——一站式的人工智能实验平台 DeepRack深度学习一体机 ——开箱即用的AI科研平台 BDRack大数据实验平台——一站式的大数据实训平台

14 云创公众号推荐 刘鹏看未来 云计算头条 中国大数据 深度学习世界 云创大数据订阅号 云创大数据服务号 高校大数据与人工智能
微信号：lpoutlook 云计算头条 微信号：chinacloudnj 中国大数据 微信号：cstorbigdata 深度学习世界 微信号：dl-world 云创大数据订阅号 微信号：cStor_cn 云创大数据服务号 微信号：cstorfw 高校大数据与人工智能 微信号：data_AI

15 手机APP推荐 我的PM2.5 随时随地准确 查看身边的 PM2.5值 同声译 支持26种语言 互译的实时翻 译软件 我的南京
云创大数据为路 况大数据应用提 供技术支持 科技头条 汇聚前沿资讯 的科技情报站

16 网站推荐 万物云 智能硬件大数据免费托管平台 环境云 环境大数据开放共享平台

17 感谢聆听