大数据技术发展与应用 Development and application of bigdata technology 贺强 山西农业大学信息学院大数据学院 E-mail: heqiang@cisau.com.cn QQ群：农谷大数据 599029523

Outline 提纲 1. Times 大数据时代 2. Concept 大数据概念 3. Influence 大数据的影响 4. Application 大数据的应用 5. Key technology 大数据关键技术 6. Computation mode 大数据计算模式 7. Industry 大数据产业 8. Relationship between BD&CP and IOT 大数据与云计算、物联网的关系 9. Study advice 学习建议

Ask 提问 你认为什么是大数据，你如何理解？ 在现在的时代中，我们经常听见利用大数据技术，进行相关领域的分析

Demo 案例 近日，瑞银集团（UBS）发布报告，通过10000次数据模拟验算，活生生把今年的冠军给“算”了出来——他们就是卫冕冠军德国队。 据彭博社17日消息，瑞银集团近日发布了题为《投资与足球：2018俄罗斯世界杯》的报告。这份17页的文件总共由一个18人的团队共同完成，对世界杯的赛程、比赛结果做出了分析。报告将入围决赛圈球队的数据输入电脑，在经过10000次验算后，得出了“德国队夺冠”的结论。而巴西、西班牙、英格兰、法国分获2到5名。

Demo 案例 德国队在2014年巴西世界杯夺冠 据彭博社17日消息，瑞银集团近日发布了题为《投资与足球：2018俄罗斯世界杯》的报告。这份17页的文件总共由一个18人的团队共同完成，对世界杯的赛程、比赛结果做出了分析。报告将入围决赛圈球队的数据输入电脑，在经过1万次验算后，得出了“德国队夺冠”的结论。而巴西、西班牙、英格兰、法国分获2到5名。

Demo 案例 “大数据带你认识2017级4112名萌新”

1.BD Times 大数据时代

1.BD Times 大数据时代 大数据为代表、包括云计算、物联网

1.1NO.3 informatization innovation 第三次信息化浪潮 根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次重大变革 表1-1 三次信息化浪潮 信息化浪潮 发生时间 标志 解决问题 代表企业 第一次浪潮 1980年前后 个人计算机 信息处理 Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等 第二次浪潮 1995年前后 互联网 信息传输 雅虎、谷歌、阿里巴巴、百度、腾讯等 第三次浪潮 2010年前后 物联网、云计算和大数据 信息爆炸 将涌现出一批新的市场标杆企业

1.2 Information technology provides technical support for BD times信息科技为大数据时代提供技术支撑 1. 存储设备容量storage不断增加 淘宝 1TB机械盘 274元 2017年9月2日 图1-1 存储价格随时间变化情况

1.2 Information technology provides technical support for BD times 来自斯威本科技大学（Swinburne University of Technology）的研究团队，在2013年6月29日刊出的《自然通讯（Nature Communications）》杂志的文章中，描述了一种全新的数据存储方式，可将1PB（1024TB）的数据存储到一张仅DVD大小的聚合物碟片上。 大数据存储在当今世界已经显得尤为必要，而且我们人类自步入数字时代以来，目前仅是存储在Web上的内容预计就有大概1ZB（zettabyte，1万亿GB），美国一年的电话记录就需要0.3ZB的存储空间进行存储。

1.1.2 Information technology provides technical support for BD times 2. CPU处理能力Frequency大幅提升 1965年4月19日，《电子学》杂志 定律是由英特尔（Intel）创始人之一戈登·摩尔（Gordon Moore）提出来的。其内容为：当价格不变时，集成电路上可容纳的元器件的数目，约每隔18-24个月便会增加一倍，性能也将提升一倍。换言之，每一美元所能买到的电脑性能，将每隔18-24个月翻一倍以上。这一定律揭示了信息技术进步的速度 “摩尔定律”的时代将会退出，因为研究和实验室的成本需求十分高昂，而有财力投资在创建和维护芯片工厂的企业很少。而且制程也越来越接近半导体的物理极限，将会难以再缩小下去。 尽管这种趋势已经持续了超过半个世纪，摩尔定律仍应该被认为是观测或推测，而不是一个物理或自然法。预计定律将持续到至少2015年或2020年[1]  。然而，2010年国际半导体技术发展路线图的更新增长已经放缓在2013年年底，之后的时间里晶体管数量密度预计只会每三年翻一番 从技术的角度看，随着硅片上线路密度的增加，其复杂性和差错率也将呈指数增长，同时也使全面而彻底的芯片测试几乎成为不可能。一旦芯片上线条的宽度达到纳米（10^-9米）数量级时，相当于只有几个分子的大小，这种情况下材料的物理、化学性能将发生质的变化，致使采用现行工艺的半导体器件不能正常工作，摩尔定律也就要走到尽头。 从经济的角度看，正如摩尔第二定律所述，20-30亿美元建一座芯片厂，线条尺寸缩小到0.1微米时将猛增至100亿美元，比一座核电站投资还大。由于花不起这笔钱，越来越多的公司退出了芯片行业。[1]  图1-3 CPU晶体管数目随时间变化情况

1.2Information technology provides technical support for BD times 3. 网络带宽bandwidth不断增加 图1-4 网络带宽随时间变化情况

1.3 Changes in the way of data generation 数据产生方式的变革促成大数据时代的来临 2002年进入用户原创内容阶段 微博 感知式系统阶段有物理网发展，视频数据 图1-5 数据产生方式的变革

1.4 BD History 大数据的发展历程 表1-2 大数据发展的三个阶段 阶段 时间 内容 第一阶段：萌芽期 上世纪90年代至本世纪初 随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术开始被应用，如数据仓库、专家系统、知识管理系统等。 第二阶段：成熟期 本世纪前十年 Web2.0应用迅猛发展，非结构化数据大量产生，传统处理方法难以应对，带动了大数据技术的快速突破，大数据解决方案逐渐走向成熟，形成了并行计算与分布式系统两大核心技术，谷歌的GFS和MapReduce等大数据技术受到追捧，Hadoop平台开始大行其道 第三阶段：大规模应用期 2010年以后 大数据应用渗透各行各业，数据驱动决策，信息社会智能化程度大幅提高

1.4 BD History 大数据的发展历程 中小学将开设人工智能课程，推广编程教育

2. BD Concept 大数据概念 .wikipedia

2. BD Concept 大数据概念 巨量数据（或称大数据、海量资料），指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理，并整理成为帮助企业经营决策更积极目的资讯。——来源维基百科.wikipedia

2. BD Concept 大数据概念

2.1 volume 数据量大 根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律） 人类在最近两年产生的数据量相当于之前产生的全部数据量 预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍

2.3 velocity处理速度快 从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少 1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同

2.2 variety 数据类型繁多 大数据是由结构化和非结构化数据组成的 10%的结构化数据，存储在数据库中 90%的非结构化数据，它们与人类信息密切相关 科学研究 –基因组 –LHC 加速器 –地球与空间探测 企业应用 –Email、文档、文件 –应用日志 –交易记录 Web 1.0数据 –文本 –图像 –视频 Web 2.0数据 –查询日志/点击流 –Twitter/ Blog / SNS –Wiki

2.4 value 价值密度低 价值密度低，商业价值高 以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是具有很高的商业价值

3. BD Influence 大数据的影响 图灵奖获得者、著名数据库专家Jim Gray 博士观察并总结人类自古以来，在科学研究上，先后历经了实验Experiments、理论 theories, 计算compute、数据data四种范式 范式是符合某一种级别的关系模式的集合。关系数据库中的关系必须满足一定的要求，满足不同程度要求的为不同范式。数据库术语 实验 理论 计算 数据

3. BD Influence 大数据的影响 在思维方式方面，大数据完全颠覆了传统的思维方式： 全样而非抽样 效率而非精确 相关而非因果

3. BD Influence大数据的影响 在社会发展方面，大数据决策逐渐成为一种新的决策方式，大数据应用有力促进了信息技术与各行业的深度融合，大数据开发大大推动了新技术和新应用的不断涌现 在就业市场方面，大数据的兴起使得数据分析师和大数据工程师成为热门职业 在人才培养方面，大数据的兴起，将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制 大数据工程师主要是偏开发层面，指的是围绕大数据系平台系统级的研发人员 数据分析师指基于大数据进行数据处理分析的人员开发层面，进行数据决策分析

3. BD Influence大数据的影响

3. BD Influence大数据的影响

3. BD Influence大数据的影响 2016年2月，3所大学获批“数据科学与大数据技术”专业； 2017年3月，32所大学获批“数据科学与大数据技术”专业； 2018年3月，250所大学获批“数据科学与大数据技术”专业， 合计285所大学获批。

4. BD Application大数据的应用 大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹。

BD Typical Application case 典型的大数据应用实例 Kevin Spacey 作为世界上最大的在线影片租恁服务商，Netflix几乎比所有人都清楚大家喜欢看什么。它已经知道用户很喜欢Fincher（社交网络、七宗罪的导演），也知道Spacey主演的片子表现都不错，还知道英剧版的《纸牌屋》很受欢迎，三者的交集表明，值得在这件事上赌一把。 《纸牌屋》的数据库包含了3000万用户的收视选择、400万条评论、300万次主题搜索。最终，拍什么、谁来拍、谁来演、怎么播，都由数千万观众的客观喜好统计决定。从受众洞察、受众定位、受众接触到受众转化，每一步都由精准细致高效经济的数据引导，从而实现大众创造的C2B，即由用户需求决定生产。 大数据分析 David Fincher 风靡全球的美剧《纸牌屋》 英国同名小说《纸牌屋》

BD Typical Application case 典型的大数据应用实例 从谷歌流感趋势看大数据的应用价值 “谷歌流感趋势”，通过跟踪搜索词相关数据来判断全美地区的流感情况 真正让Nate Silver名声大噪的，是他对2008年和2012年美国大选的成功预测。2007年Silver建立了“538”博客（后来变成fivethirtyeight.com，因美国大选有538张选举人票），独树一帜地靠数据分析进行时政预测。2008年大选，Silver预测对了50个州选举结果中的49个。2012年，他预测奥巴马胜出概率高达9成，和一般专家说的奥巴马与罗姆尼五五开的预测很不同，最后结果出来全部50个州都预测对了

BD Typical Application case 典型的大数据应用实例 真正让Nate Silver名声大噪的，是他对2008年和2012年美国大选的成功预测。2007年Silver建立了“538”博客（后来变成fivethirtyeight.com，因美国大选有538张选举人票），独树一帜地靠数据分析进行时政预测。2008年大选，Silver预测对了50个州选举结果中的49个。2012年，他预测奥巴马胜出概率高达9成，和一般专家说的奥巴马与罗姆尼五五开的预测很不同，最后结果出来全部50个州都预测对了 AlphaGo与李世石第二局的胜率曲线，由Darkforest程序进行估算 2008年和2012年美国大选的成功预测

5. BD Key technology大数据关键技术 表1-5 大数据技术的不同层面及其功能 技术层面 功能 数据采集 利用ETL工具将分布的、异构数据源中的数据如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；或者也可以把实时采集的数据作为流计算系统的输入，进行实时处理分析 数据存储和管理 利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理 数据处理与分析 利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进行可视化呈现，帮助人们更好地理解数据、分析数据 数据隐私和安全 在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效保护个人隐私和数据安全

5. BD Key technology大数据关键技术 两大核心技术 大数据 分布式存储 分布式处理 MapReduce GFS\HDFS BigTable\HBase NoSQL（键值、列族、图形、文档数据库） NewSQL（如：SQL Azure）

6. BD Computation model大数据计算模式 表1-3 大数据计算模式及其代表产品 大数据计算模式 解决问题 代表产品 批处理计算 针对大规模数据的批量处理 MapReduce、Spark等 流计算 针对流数据的实时计算 Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等 图计算 针对大规模图结构数据的处理 Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等 查询分析计算 大规模数据的存储管理和查询分析 Dremel、Hive、Cassandra、Impala等

7. BD Industry大数据产业 大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合 产业链环节 包含内容 IT基础设施层 包括提供硬件、软件、网络等基础设施以及提供咨询、规划和系统集成服务的企业，比如，提供数据中心解决方案的IBM、惠普和戴尔等，提供存储解决方案的EMC，提供虚拟化管理软件的微软、思杰、SUN、Redhat等 数据源层 大数据生态圈里的数据提供者，是生物大数据（生物信息学领域的各类研究机构）、交通大数据（交通主管部门）、医疗大数据（各大医院、体检机构）、政务大数据（政府部门）、电商大数据（淘宝、天猫、苏宁云商、京东等电商）、社交网络大数据（微博、微信、人人网等）、搜索引擎大数据（百度、谷歌等）等各种数据的来源 数据管理层 包括数据抽取、转换、存储和管理等服务的各类企业或产品，比如分布式文件系统（如Hadoop的HDFS和谷歌的GFS）、ETL工具（Informatica、Datastage、Kettle等）、数据库和数据仓库（Oracle、MySQL、SQL Server、HBase、GreenPlum等） 数据分析层 包括提供分布式计算、数据挖掘、统计分析等服务的各类企业或产品，比如，分布式计算框架MapReduce、统计分析软件SPSS和SAS、数据挖掘工具Weka、数据可视化工具Tableau、BI工具（MicroStrategy、Cognos、BO）等等 数据平台层 包括提供数据分享平台、数据分析平台、数据租售平台等服务的企业或产品，比如阿里巴巴、谷歌、中国电信、百度等 数据应用层 提供智能交通、智慧医疗、智能物流、智能电网等行业应用的企业、机构或政府部门，比如交通主管部门、各大医疗机构、菜鸟网络、国家电网等

8. Relationship between BD\CP and IOT 大数据与云计算、物联网的关系 云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者相辅相成，既有联系又有区别

8.1Cloud Computing云计算 1. 云计算概念 云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源 图1-7 云计算的服务模式和类型

8.1Cloud Computing云计算 SaaS PaaS IaaS Application SaaS Platform Infrastructure 类似于 IaaS，但是它包括操作系统和围绕特定应用的必需的服务 PaaS Visualization IaaS 将基础设施(计算资源和存储)作为服务出租 Server Storage Server Storage SaaS Software as a Service Google Apps, Microsoft “Software+Services” Platform as a Service PaaS IBM IT factory, Google App Engine, Force.com Infrastructure as a Service IaaS Amazon EC2, IBM Blue Cloud, Sun Grid

8.1Cloud Computing云计算 2. 云计算关键技术 云计算关键技术包括：虚拟化、分布式存储、分布式计算、多租户等

8.1Cloud Computing云计算 3. 云计算数据中心 云计算数据中心是一整套复杂的设施，包括刀片服务器、宽带网络连接、环境控制设备、监控设备以及各种安全装置等 数据中心是云计算的重要载体，为云计算提供计算、存储、带宽等各种硬件资源，为各种平台和应用提供运行支撑环境 全国各地推进数据中心建设

Cloud Computing Center

8.1Cloud Computing云计算 4. 云计算应用 政务云上可以部署公共安全管理、容灾备份、城市管理、应急管理、智能交通、社会保障等应用，通过集约化建设、管理和运行，可以实现信息资源整合和政务资源共享，推动政务管理创新，加快向服务型政府转型 教育云可以有效整合幼儿教育、中小学教育、高等教育以及继续教育等优质教育资源，逐步实现教育信息共享、教育资源共享及教育资源深度挖掘等目标 中小企业云能够让企业以低廉的成本建立财务、供应链、客户关系等管理应用系统，大大降低企业信息化门槛，迅速提升企业信息化水平，增强企业市场竞争力 医疗云可以推动医院与医院、医院与社区、医院与急救中心、医院与家庭之间的服务共享，并形成一套全新的医疗健康服务系统，从而有效地提高医疗保健的质量

8.1Cloud Computing云计算 5. 云计算产业 云计算产业作为战略性新兴产业，近些年得到了迅速发展，形成了成熟的产业链结构，产业涵盖硬件与设备制造、基础设施运营、软件与解决方案供应商、基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）、终端设备、云安全、云计算交付/咨询/认证等环节 图1-8 云计算产业链

8.2 Internet of things IOT物联网 1. 物联网概念 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化和远程管理控制 图1-9 物联网体系架构

8.2物联网 物联网中的关键技术包括识别和感知技术（二维码、RFID、传感器等）、网络与通信技术、数据挖掘与融合技术等 2. 物联网关键技术 图1-10 矩阵式二维码 图1-11 采用RFID芯片的公交卡 图1-12 不同类型的传感器

8.2 IOT物联网 3.物联网应用 物联网已经广泛应用于智能交通、智慧医疗、智能家居、环保监测、智能安防、智能物流、智能电网、智慧农业、智能工业等领域，对国民经济与社会发展起到了重要的推动作用。

8.2 IOT物联网 4.物联网产业 完整的物联网产业链主要包括核心感应器件提供商、感知层末端设备提供商、网络提供商、软件与行业解决方案提供商、系统集成商、运营及服务提供商等六大环节 图1-8 物联网产业链

8 Relationship between BD\CP and IOT 大数据与云计算、物联网的关系 云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者既有区别又有联系 图1-9 大数据、云计算和物联网之间的关系

9. Study advice 学习建议 必须技能10条: 01.Java高级(虚拟机、并发) 02.Linux 基本操作 03.Hadoop（此处为侠义概念单指 HDFS+MapReduce+Yarn ） 04.HBase（JavaAPI操作+Phoenix ） 05.Hive(NoSQL基本操作和原理理解） 06.Kafka 07.Storm 08.Scala 09.Python 10.Spark (Core+sparksql+Spark streaming ） 01.大数据工程师 02.数据分析师 03.大数据科学家 04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）

9. Study advice 学习建议 高阶技能6条: 11.机器学习算法以及mahout库加MLlib 12.R语言 13.Lambda 架构 14.Kappa架构 15.Kylin 16.Aluxio 01.大数据工程师 02.数据分析师 03.大数据科学家 04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）

9. Study advice 学习建议 第一阶段: 01.Linux学习（跟鸟哥学就ok了） 02.Java 高级学习（《深入理解Java虚拟机》、《Java高并发实战》） 第二阶段: 03.Hadoop （董西成的书） 04.HBase（《HBase权威指南》） 05.Hive（《Hive开发指南》） 06.Scala（《快学Scala》） 07.Spark （《Spark 快速大数据分析》） 08.Python （跟着廖雪峰的博客学习就ok了） 01.大数据工程师 02.数据分析师 03.大数据科学家 04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）

9. Study advice 学习建议 第三阶段: 对应技能需求，到网上多搜集一些资料就ok了， 01.大数据工程师 02.数据分析师 03.大数据科学家 04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）

9. Study advice 学习建议 学习资源推荐: 01.Apache 官网 02.Stackoverflow 04.github 03.Cloudra官网 04.Databrick官网 05.过往的记忆（技术博客） 06.CSDN，51CTO 07.至于书籍当当一搜会有很多，其实内容都差不多。 01.大数据工程师 02.数据分析师 03.大数据科学家 04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）

大数据并非单一的数据或技术，而是数据和大数据技术的综合体

Department of Information Engineering, College of Information, Shanxi Agricultural University, 2017