大数据介绍及应用案例分享 2016年7月 华信咨询设计研究院有限公司.

Presentation on theme: "大数据介绍及应用案例分享 2016年7月 华信咨询设计研究院有限公司."— Presentation transcript:

1 大数据介绍及应用案例分享 2016年7月 华信咨询设计研究院有限公司

2 Big Data 大数据的时代背景 大数据的概念 Big Data 大数据与传统数据的区别 大数据的4V特征

3 大数据时代背景 半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。

4 大数据时代背景 数据量增加 数据结构日趋复杂 大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长
TB PB ZB EB 根据IDC 监测，人类产生的数据量正在呈指数级增长，大约每两年翻一番，这个速度在2020 年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。 大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长 1EB数据相当于美国国会图书馆中存储的数据的4000多倍 这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理 的范畴 大数据时代正在来临…

5 大数据的概念 大数据概念 百度百科—大数据概念 麦肯锡全球研究所—大数据概念
“大数据”是一个体量特别大，数据类别特别多的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 “大数据”首先是指数据体量大，指代大型数据集，在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别多，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据商业价值高，虽然数据的价值密度低，但经过清洗、整合和建模分析，可形成高价值的商业业务。 百度百科—大数据概念 麦肯锡全球研究所—大数据概念 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。 一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

6 大数据与传统数据的区别 小明去了 100次书店 传统数据： 大数据： 要回答的问题是他第一百零一次买不买书，即业绩和经营指标的问题。
要回答的是他第一百零一次买什么书，需要将什么样的内容推荐给他。 群体和个体的区别： 传统定义上，更多关注的是一类人群，用同一类规则制订套餐给他们； 互联网时代，要把每个人都精准刻画出来，进行精准匹配。

7 大数据的特征（1） 特征一： 数据量巨大（ Volume ） 特征二： 数据多样化（ Variety） 数据 类型
搜索社交 邮件通信 影音资料 Video Audio Image Social Media Mobile Search Texts it operations transaction data 企业运营 伴随着各种随身设备、物联网和云计算、云存储等技术的发展，人和物的所有轨迹都可以被记录，数据因此被大量生产出来；大量自动或人工产生的数据，包括电信运营商、互联网运营商、政府、银行、商场、企业、交通枢纽等机构，形成了大数据之海。 随着传感器、智能设备以及社交协作技术的飞速发展，组织中的数据也变得更加复杂，因为它不仅包含传统的关系型数据，还包含来自网页、互联网日志文件（包括点击流数据）、搜索索引、社交媒体论坛、电子邮件、文档、主动和被动系统的传感器数据等原始、半结构化和非结构化数据。 数据量大：典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。 数据多样化：数量格式变得越来越多样；数据来源也变得越来越多样。

8 大数据的特征（2） 特征三： 处理速度快（ Velocity ） 特征四： 商业价值高（ Value） 静态 批处理 实时
大量的不相关信息，浪里淘沙却又弥足珍贵，虽然数据的价值密度低，但经过清洗、整合和建模分析，可形成高价值的商业业务。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。 大数据是一种以实时数据处理、实时结果导向为特征的解决方案，它的“快”包括有两个层面，一个是数据产生的快，一个是数据处理的快。 数据产生的快：例如，欧洲核子研究中心的大型强子对撞机在工作状态下每秒产生PB级的数据； 数据处理的快：电子商务网站从点击流、浏览历史和行为（如放入购物车）中实时发现顾客的即时购买意图和兴趣，并据此推送商品，这就是“快”的价值。 价值密度低：一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒，但这几秒的视频具有很大的价值。

9 Big Data 我国大数据的发展历程 大数据技术要解决的问题 Big Data 大数据的相关技术 大数据商业模式及应用案例

10 我国大数据的发展历程 目前，我国大数据产业正处于高速发展期，多种商业模式得到市场印证，新产品和服务不断推出，细分市场走向差异化竞争。
阿里巴巴：转变大数据战略，面向全球开放数据；开放阿里巴巴十年的大数据能力，发布全球首个一站式大数据平台“数加”，这些产品覆盖数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等数据生产全链条。 百度：开放“大数据引擎”，推出多款软硬件产品；例如百度糯米此次携手百度大数据部发布的“店铺统计”产品，可以在商家的店铺页上得以直观展现为该商户独家打造的用户画像：包含商户的用户性别构成、年龄分布、居住地分布、甚至是星座比例等维度都予以及时的呈现。 腾讯：积累丰富数据类型，大数据官网上线。

11 大数据技术要解决的问题 Value Velocity 快速的数据流转 Variety Volume 多样的数据类型 海量的数据规模 TB
Streams Real time Near time Batch TB PB EB Structured Unstructured Semi-structured All the above Velocity 快速的数据流转 Value Variety 多样的数据类型 Volume 海量的数据规模 大数据技术被设计用于在成本可承受的条件下，通过非常快速（velocity）地采集、发现和分析，从大量（volumes）、多类别（variety）的数据中提取价值（value），将是IT 领域新一代的技术与架构要解决的问题。

12 大数据的相关技术 数据采集与预处理 数据存储与管理 数据分析与挖掘 数据展现与应用
数据采集是通过RFID射频技术、传感器以及移动互 联网等方式获得的各种类型的结构化及非结构化的海量数据，并完成对已接收数据的辨析、抽取、清洗等操作。 大数据存储与管理技术是用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。主要解决大数据可存储。可处理及有效传输等关键问题。 数据存储与管理 数据分析及挖掘技术是大数据的核心技术。主要是在现有的数据上进行基于各种算法的计算，从而起到预测的效果，从而实现一些高级别数据分析的需求。 大数据技术能够将隐藏于海量数据中的信息挖掘出来，从而提高各个领域的运行效率。大数据的重点应用主要在以下三大领域：商业智能、政府决策、公共服务。 数据采集：比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis（偏重进程顺序写入）和MongoDB（建议集群部署）这样的NoSQL数据库（范指非关系型数据库）也常用于数据的采集。在大数据的采集过程中，其主要特点和挑战是并发数高，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。 数据导入与预处理：如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。导入与预处理过程的特点和挑战主要是导入的数据量大。 数据分析：统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，分析这部分的主要特点和挑战是分析涉及的数据量大； 数据挖掘：比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂。 数据分析与挖掘 数据展现与应用

13 大数据的相关技术 数据采集 数据储存与管理 数据分析与挖掘 计算结果展示 ETL工具等 ETL：是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。 ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

14 大数据的相关技术 数据采集 数据储存与管理 数据分析与挖掘 计算结果展示 ETL等 结构化、非结构化和半结构化数据 分布式文件系统
关系数据库 非关系数据库 （NoSQL） 云计算和云存储 实时流处理 数据存取：关系数据库；NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等

15 大数据的相关技术-分布式系统 分布式文件系统（Distributed File System）是指文件系统 管理的物理存储资源不一定直接连接在本地节点上，而是通过 计算机网络与节点相连。

16 大数据的相关技术-分布式系统 Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解 分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存 储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File Syste m），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件 上。 一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。 一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个，负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成一个或多个数据块，这些块存储在一组Datanode上。Namenode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。

17 大数据的相关技术-分布式系统 Google文件系统（Google File System，GFS）是一个可扩展的分布式文件 系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普 通硬件上，将服务器故障视为正常现象，通过软件的方式自动容错，在保证系统 可靠性和可用性的同时，大大减少了系统的成本。 GFS将整个系统分为三类角色：Client（客户端）、Master（主服务器）、C hunk Server（数据块服务器）。 Client（客户端）：是GFS提供给应用程序的访问接口，它是一组专用接口，不遵守POSIX规范，以库文件的形式提供。应用程序直接调用这些库函数，并与该库链接在一起。 Master（主服务器）：是GFS的管理节点，主要存储与数据文件相关的元数据，而不是Chunk（数据块）。元数据包括：命名空间（Name Space），也就是整个文件系统的目录结构，一个能将64位标签映射到数据块的位置及其组成文件的表格，Chunk副本位置信息和哪个进程正在读写特定的数据块等。还有Master节点会周期性地接收从每个Chunk节点来的更新（"Heart- beat"）来让元数据保持最新状态。 Chunk Server（数据块服务器）：负责具体的存储工作，用来存储Chunk。GFS将文件按照固定大小进行分块，默认是64MB，每一块称为一个Chunk（数据块），每一个Chunk以Block为单位进行划分，大小为64KB，每个Chunk有一个唯一的64位标签。GFS采用副本的方式实现容错，每一个Chunk有多个存储副本（默认为三个）。 Chunk Server的个数可有有多个，它的数目直接决定了GFS的规模。 1.Master节点：主要存储与数据文件相关的元数据，而不是Chunk（数据块）。元数据包括一个能将64位标签映射到数据块的位置及其组成文件的表格，数据块副本位置和哪个进程正在读写特定的数据块等。还有Master节点会周期性地接收从每个Chunk节点来的更新（“Heart-beat”）来让元数据保持最新状态。 2.Chunk节点：顾名思义，肯定用来存储Chunk，数据文件通过被分割为每个默认大小为64MB的Chunk的方式存储，而且每个Chunk有唯一一个64位标签，并且每个Chunk都会在整个分布式系统被复制多次，默认为3次。 现在Google内部至少运行着200多个GFS集群，最大的集群有几千台服务器，并且服务于多个Google服务，比如Google搜索。但由于GFS主要为搜索而设计，所以不是很适合新的一些Google产品，比YouTube、Gmail和更强调大规模索引和实时性的Caffeine搜索引擎等，所以Google已经在开发下一代GFS，代号为“Colossus”，并且在设计方面有许多不同，比如：支持分布式Master节点来提升高可用性并能支撑更多文件，Chunk节点能支持1MB大小的chunk以支撑低延迟应用的需要。

18 大数据的相关技术-非关系型数据库 关系型数据库的局限性 难以满足高并发读写的 需求
关系型数据库中的表都是存储一些格式化的数据结构，每个元组字段的组成都一样，即使不是每个元组都需要所有的字段，但数据库会为每个元组分配所有的字段。 非关系型数据库以键值对存储，它的结构不固定，每一个元组可以有不一样的字段，每个元组可以根据需要增加一些自己的键值对，这样就不会局限于固定的结构，可以减少一些时间和空间的开销。 关系型数据库的局限性 难以满足高并发读写的 需求 难以满足对海量数据高 效率存储和访问的需求 难以满足对数据库高可 扩展性和高可用性的需 求 NoSQL 数据存储不需要固 定的表结构，通常也不存在 连接操作。在大数据存取上 具备关系型数据库无法比拟 的性能优势。 1、High performance - 对数据库高并发读写的需求 web2.0网站要根据用户个性化信息来实时生成动态页面和提供动态信息，所以基本上无法使用动态页面静态化技术，因此数据库并发负载非常高，往往要达到每秒上万次读写请求。关系数据库应付上万次SQL查询还勉强顶得住，但是应付上万次SQL写数据请求，硬盘IO就已经无法承受了。其实对于普通的BBS网站，往往也存在对高并发写请求的需求。 2、Huge Storage - 对海量数据的高效率存储和访问的需求 对于大型的SNS网站，每天用户产生海量的用户动态，以国外的Friendfeed为例，一个月就达到了2.5亿条用户动态，对于关系数据库来说，在一张2.5亿条记录的表里面进行SQL查询，效率是极其低下乃至不可忍受的。再例如大型web网站的用户登录系统， 3、High Scalability && High Availability- 对数据库的高可扩展性和高可用性的需求 在基于web的架构当中，数据库是最难进行横向扩展的，当一个应用系统的用户量和访问量与日俱增的时候，你的数据库却没有办法像web server和app server那样简单的通过添加更多的硬件和服务节点来扩展性能和负载能力。对于很多需要提供24小时不间断服务的网站来说，对数据库系统进行升级和扩展是非常痛苦的事情，往往需要停机维护和数据迁移，为什么数据库不能通过不断的添加服务器节点来实现扩展呢？

19 大数据的相关技术-云计算和云存储 云计算（cloud computing），是分布式计算技术的一种，其最基 本的概念，是透过网络将庞大的计算处理程序自动分拆成无数个较 小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分 析之后将处理结果回传给用户。透过这项技术，网络服务提供者可 以在数秒之内，达成处理数以千万计甚至亿计的信息，达到和“超 级计算机”同样强大效能的网络服务。 云计算是一种资源交付和 使用模式，指通过网络获 得应用所需的资源（硬 件、平台、软件）。提供 资源的网络被称为 “云”。

20 大数据的相关技术-云计算和云存储 蓝蓝的天上白云飘 白云下面数据跑
如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器。没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。

21 大数据的相关技术-云计算和云存储 云存储是在云计算(cloud computing)概念上延伸和发展出来的一 个新概念，是指通过集群应用、网格技术或分布式文件系统等功 能，将网络中大量各种不同类型的存储设备通过应用软件集合起来 协同工作，共同对外提供数据存储和业务访问功能的一个系统。 当云计算系统运算和处理 的核心是大量数据的存储 和管理时，云计算系统中 就需要配置大量的存储设 备，那么云计算系统就转 变成为一个云存储系统， 所以云存储是一个以数据 存储和管理为核心的云计 算系统。

22 大数据的相关技术-实时流处理 传统的分布式计算往往是先积累大量的数据，再进行数据拆分和聚 合。而实时流处理则是让数据流动起来，数据从内存中流过，截取 需要的数据，进行实时分析计算。 所谓流式数据是指将数据看作是数据流的形式来处理。数据流则是在时间分布和数量上无限的一系列数据记录的集合体；数据记录是数据流的最小组成单元。举个例子，对于大型网站，活跃的流式数据非常常见，这些数据包括网站的访问PV/UV、用户访问了什么内容，搜索了什么内容等。实时的数据计算和分析可以动态实时地刷新用户访问数据，展示网站实时流量的变化情况，分析每天各小时的流量和用户分布情况，这对于大型网站来说具有重要的实际意义。数据量大且无法或没必要预算，但要求对用户的响应时间是实时的。 对于电子商务网站上的店铺： 1）实时展示一个店铺的到访顾客流水信息，包括访问时间、访客姓名、访客地理位置、访客IP、访客正在访问的页面等信息； 2）显示某个到访顾客的所有历史来访记录，同时实时跟踪显示某个访客在一个店铺正在访问的页面等信息； 3）支持根据访客地理位置、访问页面、访问时间等多种维度下的实时查询与分析。

23 大数据的相关技术 数据采集 数据储存与管理 数据分析与挖掘 计算结果展示 ETL等 结构化、非结构化和半结构化数据 分布式文件系统
关系数据库 非关系数据库 （NoSQL） 云计算和云存储 实时流处理 A/B Testing 关联规则分析 分类 聚类 遗传算法 神经网络 预测模型 模式识别 时间序列分析 回归分析 系统仿真 机器学习 优化 空间分析 社会网络分析 自然语言分析 MapReduce R语言

24 大数据的相关技术- MapReduce MapReduce是Google提出的一个软件架构，用于大规模数据集 （大于1TB）的并行运算。它使编程人员在不了解分布式并行编程的 情况下，能将自己的程序运行在分布式系统上。 Map=映射 Reduce=规约或化简

25 大数据的相关技术 数据采集 数据储存与管理 数据分析与挖掘 计算结果展示 ETL等 结构化、非结构化和半结构化数据 分布式文件系统
关系数据库 非关系数据库 （NoSQL） 云计算和云存储 实时流处理 A/B Testing 关联规则分析 分类 聚类 遗传算法 神经网络 预测模型 模式识别 时间序列分析 回归分析 系统仿真 机器学习 优化 空间分析 社会网络分析 自然语言分析 MapReduce R语言 标签云 （Tag Cloud） 聚类图 （Clustergram） 空间信息流 （Spatial information flow） 热图 （Heatmap）

26 大数据的相关技术-聚类图 聚类图（Clustergram）是指用图形方式展示聚类分析结果的技 术，可以有助于判断簇数量不同时的聚类效果。

27 大数据的相关技术-热图 热图（Heatmap）是一项数据展示技术，将变量值用不同的颜色或 高亮形式描绘出来。可以非常直观的呈现一些原本不易理解或表达 的数据，比如密度、频率、温度等。 用户地区分布热图 用户的视觉注意力图。Google用这个图来决定广告位置的价格，左边的价格高于右边，显然是因为左边获得的用户注意力远远高于右边。 在做测试的时候，摄像头启动，拍录下用户眼球的运动，然后结合被测内容做出用户的眼动热图。

28 大数据主流商业模式（1） 管理学大师彼得•德鲁克曾说过，当今企业间的竞争，不是产品的竞争，而是商业模式的竞争。商业模式规定了公司在价值链中的位置，指导着公司如何赚取剩余价值；并指出商业模式明确了一个公司开展什么活动来创造价值，在价值链中如何选取上下游合作伙伴以及怎样与客户达成交易、为客户提供价值。 大数据产业链上三种大数据公司 技术提供者 服务提供者 数据拥有者 基于数据本身的公司：拥有数据，不具有数据分析的能力 基于技术的公司：技术供应商或者数据分析公司等 基于思维的公司：挖掘数据价值的大数据应用公司

29 大数据主流商业模式（2） 2B 2C 2D “数据拥有者”商业模式
面向企业或者公共政府部门，提供数据分析结果的服务；例如Inrix在交通信息领域，面向GPS生产商、和交通规划部门、 FedEX和UPS等物流公司等，出售完整的当前甚至未来的交通状况的模式图或者数据库。 2B 租售数据/信息模式（数据资产分享和交易平台），新的商业模式，把数据/信息作为资产直接进行销售；例如：Twitter把它的数据都通过两个独立的公司授权给别人使用；VISA和MasterCard收集和分析了来自210个国家的15亿信用卡用户的650亿条交易记录，用来预测商业发展和客户的消费趋势。然后，它把这些分析结果卖给其他公司。 “数据拥有者”商业模式 面向个人，提供基于数据分析结果的服务。例如：Inrix提供一个免费的智能手机应用程序，一方面它可以为用户提供免费的交通信息，另一方面它自己就得到了同步的数据。 2C 2D

30 大数据主流商业模式（3） “技术提供者” 商业模式 A B 提供单点技术 提供整体解决方案 C D 大数据空间出租模式 大数据即服务
提供单点技术，pure-play为主，例如：Teradata为 沃尔玛和Pop-Tarts这两 个零售商提供大数据分析 技术，来获得营销点子。 A 提供整体解决方案，IT厂商为主，例如：IBM提供 软硬一体的大数据解决方案；华为基于IT基础设施领域在存储和计算的优势，提供整体大数据解决方案。 B 提供单点技术 提供整体解决方案 “技术提供者” 商业模式 大数据计算基础设施上（与云结合），通过出租一个虚拟空间，从简单的文件存储，逐步扩展到数据聚合 平台，例如腾讯开放云战略为大数据创业者提供了廉价的数据基础设施，使中小企业也有机会在大数据领域创新业务。 C D 新的商业模式，提供E2E在线大数据技术或者解决方案。再例如，GoodData主要面向商业用户和IT企业高管，提供数据存储、性能报告、数据分析等工具，将所有商业智能分析所需的数据和任务都搬到了云上 大数据空间出租模式 大数据即服务 Teradata：天睿公司

31 大数据主流商业模式（4） “服务提供者”商业模式 1 2 咨询服务提供者： 应用服务提供者：
2B：定位在某一具体行业，通过大量数据支持，对数据进行挖掘分析后预测相关主体的行为，以开展业务；利用数据挖掘技术帮助客户开拓精准营销或者新业务，有时企业收入来自于客户增值部分的分成。 例如德国咨询公司GFK帮助Telefonica 面向零售商、政府部门提供基于地点的人员流动数据 应用服务提供者： 2B：面向企业或者公共政府部门，提供数据分析结果的服务；例如前面提过的Inrix ； 2C：面向个人，提供基于数据分析的服务；例如： FlightCaster 基于分析过去十年里每个航班的情况，然后将其与过去和现实的天气情况进行匹配，预测航班是否会晚点。 服务提供者有两种，一种是应用服务提供者，另一种是咨询服务提供者： ①应用服务提供者是基于大数据技术，对外提供服务； ②咨询服务提供者，提供技术服务支持、技术（方法、商业等）咨询，或者为企业提供类似数据科学家的咨询服务； 1 2 “服务提供者”商业模式

32 大数据在公共事业领域的应用 政府数据 2015年9月，国务院发布《促进大数据发展行动纲要》 信用 金融 地理交通 企业监管 2017年底前
形成跨部门数据资源共享共用格局 医疗卫生 气象海洋 政府数据 2018年底前 建成国家政府数据统一开发平台 2020年底前 资源 环境 就业 社保 民生保障领域的政府数据向社会开放 案例：城市重点车辆动态监管系统，通过集中的数据中心将全市卡口、电子警察、视频监控、流量检测设备、信号机、诱导设备等有效连接起来，从交通案件侦破能力、交警对机动车辆的监管能力到利用关联车辆的数据分析能力，都得到了极大的提升。 技术 科技 文化 教育

33 大数据在消费领域的应用 零售业大数据应用环节：主要集中在用户、市场、产品、供应链、运营五个方面。
渠道 交易 卖家 流量 财务 用户洞察 精准营销 产品分析 仓储 管理 数据化 管理 客服 会员 员工 客户细分 市场响应 购物检测 财务 客服 供应链 提效 核心资产分析 转化 增强体验 销售分析 产品创新 顾客 店铺 商品 供应链 营运 分销渠道 零售业大数据应用环节：主要集中在用户、市场、产品、供应链、运营五个方面。 零售业大数据类型丰富，线上线下企业纷纷关注并积极积累内外部市场的数据。 案例：零售企业也监控客户的店内走动情况以及与商品的互动。它们将这些数据与交易记录相结合来展开分析，从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见，此类方法可以帮助零售企业减少存货，同时在保持市场份额的前提下，增加了高利润率自有品牌商品的比例。

34 大数据在金融领域的应用 政府数据 流量 互联网获客 个性化推荐 精准化营销 大数据征信 信用评级 体系 应用领域 业务模式 技术要点
支付结算 1、第三方支付 虚拟账户 网络融资 2、P2P网贷 征信与风险评估体系 3、众筹融资 4、电商小贷 网络模型与信用体系 平台金融 5、平台金融 大数据 6、供应链金融 大数据与信用评估模型 7、金融系电商 渠道创新 8、传统电子渠道 移动互联网 9、金融超市 搜索、入口与流量 10、搜索与金融门户 11、直销银行 电子渠道、移动互联网 产品创新 12、余额理财 第三方合作渠道 13、无抵押贷款 虚拟货币 14、虚拟货币 网络算法 互联网获客 个性化推荐 政府数据 流量 精准化营销 大数据征信 "博时淘金100"指数基金跑赢大盘:"博时淘金100"是博时基金和阿里共同成立的基金，依托蚂蚁金服提供的海量电商交易数据(包括买卖家数量变化、商品价格变化、成交量变化等)，对用户需求，企业产品、行业成长进行分析，从预测相关行业和企业景气度。分析结果结合博时基金多因子量化投资模型，指导基金经理进行股票投资。 信用评级 体系

35 大数据在医疗领域的应用 医疗行业大数据 医疗行业大数据来源 医疗大数据的主要应用场景 临床操作 付款/定价 新的商业模式 公众健康 研发
病人行为和情绪 数据 临床 数据 比较效果研究 临床决策交持系统 医疗数据透明系统 远程病人监控 对病人档案分析 自动系统 基于卫生经济学和疗效研究的定价计划 预测建模 提高临床试验设计的统计工具和算法 临床试验数据的分析 个性化治疗 汇总患者的临床记录和医疗保险数据 网络平台和社区 大数据的使用可以改善公众健康监控 制药行业和科研 数据 活动（报销）和成本数据 医疗行业大数据 案例：比如通过社交网络来收集数据的健康类App，也许未来数年后，它们搜集的数据能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。

36 谢谢