基于大数据复杂系统 的智慧城市系统 史 文 钊.

Presentation on theme: "基于大数据复杂系统 的智慧城市系统 史 文 钊."— Presentation transcript:

1 基于大数据复杂系统 的智慧城市系统 史 文 钊

2 提 纲 大数据与应用 基于大数据复杂系统的智慧城市 应用案例解析 1 2 3 2013年7月18日 2 2

3 大数据时代的兴起 • 据：创新、竞争和生产力的下一个前沿》（Big data: The next frontier for
2011年6月，麦肯锡全球研究所(McKinsey Global Institute )发布了《大数 据：创新、竞争和生产力的下一个前沿》（Big data: The next frontier for innovation, competition, and productivity）指出，数据已经渗透到每一 个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数 据的运用将预示着新一波生产率增长浪潮的到来。 2012年1月在瑞士举行的达沃斯世界经济论坛发布了一份名为《大数据 ，大影响》（Big Data, Big Impact: New Possibilities for International Development）的报告，再次引起全球关注与热议。这份报告认为，是 一种新型的经济资产。 3

4 Obama 推波助澜 • 2012年3月29日，美国联邦政府宣布 了《大数据研究和发展倡议》（Big
Data Research and Development Initiative）， committing more than $200 million in new funding to improve “our ability to extract knowledge and insightsfrom large and complex collections of digital data”. ， 分别是美国国家科学基金National Science Foundation (NSF) 、 美国国家卫生研究院National Institutes of Health (NIH)、 美国能源部Departmentof Energy (DoE) Office of Science 、 美国国防部 Department of Defense (DoD)、 美国国防部高级研究计划局Defense Advanced Research Projects Agency (DARPA） 美国地质勘探局U.S. Geological Survey (USGS) 4

5 指数型增长的海量数据 2012年这个世界上增加了2.8ZB的数据，相当于30亿TB。如果视
频数据也存储下来，这个数据就要翻倍了。估计，全国摄像头数量不少于4000万，行 业每年还在以20%加速增长。而另一个数据也很惊人，英国的摄像头数量与人口数量 之比已经达到1:15。粗略计世界至少有1亿个摄像头在角落静静的看着。 如果这些数据存储下来，将是超级大数据。假设所有摄像头换为1080P，每天的数据 量是64GB，每年的数据量是23TB，全世界每年将产生23亿TB的视频数据。

6 X 还有多少大数据？！ 20 Gbit/sec biological interfaces
• 真正的多媒体传感器Multi-Media-sensors Taste – Smell – Touch – Hearing – Sight 味觉–Taste 600 bit/s 嗅觉 –Smell 28 Kbit/s 触觉–Touch 10 Mbit/s 20 Gbit/sec biological interfaces X 7 Billion Human being in the world 6 听觉–Hearing 2.3 Mbit/s 视觉–Sight 20 Gbit/s

7 Big data usually includes data sets with sizes
大数据的定义 Big data usually includes data sets with sizes beyond the ability of commonly used software tools to capture, curate, manage, and process the data within a tolerable elapsed time. In 2012, Gartner updated its definition as follows: "Big data are high volume, high velocity, and/or high variety information assets that require new forms of processing to enable enhanced decision making, insight discovery and process optimization." increasingvolume (amount of data),velocity (speed of data in and out), andvariety (range of data types and sources). and now much of the industry, continue to use this "3Vs" model for describing big data. 这是一个严格的学术定义，还是又一个商业流行语：BUZZWORD（潮词）？！ 7

8 价值 Value 速度 体量 多样性 实时获取需要的信息 大数据包括结构化数据、邮件、Word、图片、聊天记录、视频、音频等 信息
2010年的全球移 动数据流量为每月 （ TB） 2011年预计增长131% 体量 多样性 DC最新数字宇宙研究报告表明，到2020年，全球数据使用量预计暴增44倍，达到35.2ZB 普通手机3.3Mb/月 智能手机24X 游戏机60X 平板电脑122X 笔记本电脑515X 在多样性、体量、速度三大特征的指引下，大数据将有新型的展现方式：大型控制中心和移动终端，实现数据的实时处理和速度决策。核心是通过挖据和分析开发大数据带来的价值

9 大数据的构成 Big Transaction Data Big Interaction Data ONLINE TRANSACTI
NG PROCESS (OLTP) ONLINE ANALYTICAL PROCESSING (OLAP) & DW APPLIANCES SOCIAL MEDIA DATA OTHER INTERACTION DATA Clickstream Big Data Integration Image/Text Scientific • Genomic/pharm a • Medical Machine/Devic e • Sensors/meters Oracle DB2 Britton-Lee Ingres Informix Sybase Teradata Redbrick Essbase SybaseIQ Netezza Greenplum SQLServer DataAllegra Asterdata Vertica • RFID tags CDR/mobile Big Data Processing 大数据的构成无非就是两类：交易数据和关联交互数据 9

10 管理学界和财经媒体对大数据推崇备至，认为大数据是信息技术改变商业世界的杀 手应用，但是关于大数据成功案例的报道却出奇地少
大数据的成功案例 管理学界和财经媒体对大数据推崇备至，认为大数据是信息技术改变商业世界的杀 手应用，但是关于大数据成功案例的报道却出奇地少 NSA分析海量通话数据的方法有很多，但 图谱分析（Graph Analysis）毫无疑问是 其中最重要的一种，美国国家安全局(NSA) 正运行一个代号PRISM （personnel record information system for management ）的超大规模数据挖掘项目， 能直接监测Google、Facebook、微软和 苹果等中央服务器中的用户数据 Edward Snowden 移动运营商T-Mobile在多个IT系统中整合了大数据应 用，对客户交易和互动数据进行综合分析，更准确地 预测客户流失率。通过将社交媒体数据和CRM和计 费系统中的交易数据进行综合分析，T-mobile在一个 季度内将客户流失率降低了一半！ 麦克拉伦车队通过汽车传感器在赛前的场地测试中实时 采集数据，结合历史数据，通过预测型分析发现赛车问 题，并预先采取正确的赛车调校措施，降低事故几率并 提高比赛胜率。 10

11 反思？ Thanks! Big Data is Not About the Data! The limits of Big Data
Michael Schrage: Research Fellow, MIT Center for Digital Business The limits of Big Data is that the more data and facts one has, and the more predictions matter, the more important human judgment becomes. The co-evolution of human beings, datasets, and algorithms will ultimately determine Thanks! whether Big Data creates new wealth or destroys old value. Gary King is the Albert J. Weather head III University Professor at Harvard University, based in the Department of Government (in the Faculty of Arts and Sciences) Nate Silver : analyst FiveThirtyEight's election forecasts The Signal and the Noise why so many prediction fail-but some don’t Big Data is Not About the Data! Only analytics bring value to Big Data

12 提纲 大数据与应用 基于大数据复杂系统的智慧城市 应用案例解析 1 2 3 2013年7月18日 12 12

13 云计算、物联网、智慧城市从政绩工程变成实用工程
国内各地制定云计算“十二五”规划 云计算、物联网、智慧城市园区 中国各地制定或公布了云计算、物联网、智慧城市等产业规划；这些工程的初始着眼点在房地产，政绩工程居多，大数据作为核心内容端，使得政绩工程变为使用工程。 云计算、物联网、社交化媒体、GIS为大数据智慧城市提供了丰富的数据来源。因此大数据中包括的每个用户的身份、地点、时间、喜好、厌恶、社会关系等等大量的信息。伴随数据挖掘和分析的技术发展，我们即将步入基于大数据的智慧城市的智能化时代。 13

14 智慧城市框架 大数据时代的来临对信息技术应用的影响主要有两个方面，一方面促使数
据获取、数据存储会更广泛（云计算，云存储）。另一方面会激发信息技 术挖掘的强烈需求，未来发展更趋向于信息的价值提升和决策智能化（智 能决策系统），建设智慧城市更是是如此。

15 人 口 社 会 资 源 环 境 协 交易 雇佣 调 资本 发 展 产品 的 综 合 决 策 模 型 15 健康和教育 投资 个人投资
成人文化水平 财政收入 会 资 源 税收 收入分布 国债 劳动力 环 境 协 调 发 展 相对价格 交易 资本 人均收入 需求 雇佣 劳动生产力 供应 GDP 的 综 合 决 策 模 产品 不可再生资源 农业用土地 型 污染 15

16 社会、经济、环境相互关联相互影响，组成了一个复杂城市系统
复杂系统是具有变量来自不同标度层次的结构，或者大量相互之 间有差别的单元构成的动态系统。人口社会经济资源环境要素构 成的城市系统正是一个相互关联有相互影响的巨大的复杂系统。

17 系统之系统（System of Systems ）
而这些系统又由众多下一级系统组成 而智慧城市的核心解决方案正是构建一个： 系统之系统（System of Systems ）

18 “We already know the physical laws that govern everything
Stephen Hawking:  “We already know the physical laws that govern everything we experience in everyday life … It is a tribute to how far we have come in theoretical physics that it now takes enormous machines and a great deal of money to perform an experiment whose results we cannot predict.” 18

19 提纲 大数据与应用 基于大数据复杂系统的智慧城市 应用案例解析 1 2 3 2013年7月18日 19 19

20 信息交换模式 生产、生活中产生的各种数据 UNIVERSITY 部 信 门 息 共 共 享 享 相 交 结 换 合 系统 、环境信息数据库
经济部门 民政部门 人力社保部门 卫生部门 教育部门 统计部门 …… 部 信 门 息 共 共 享 享 相 交 结 换 合 共享和交换 系统 人口、经济、社会、自然资源 、环境信息数据库

21 信息整合模式 智慧青岛决策支持系统 智慧医 智慧交通 智慧资源 物流数据 利用数据 集市 集市 育 市 集市 源 智慧青岛
…… 源 智慧青岛 层 数据抽取、转换、加载(ETL)境数据仓库 数 据 服 层 集市 智慧青岛决策支持系统 智慧医 智慧交通 智慧资源 物流数据 利用数据 集市 集市 智慧教 育 数据集 市 务 口数据 智慧人 疗 智慧环境 保护数据 集市 … 数据集 市

22 数据展现方式 育 育 主 析 分 题 教育政策 教育资源投入与产出主 公共教育服务体系主题 … … 主 题 数 据 来 源 数据仓库数据
模 预 个 观 宏 理 管 型 口 力 析 分供 测动 劳 息 生 信 划 案 计 育 政 育 生 策 力供需 经济与劳动 障 农村家庭计划生育保 人 需 教育决策分析 展 现 OLAP分析 方 式 固定报表 模 预 个 理 管 型 口 观 宏 劳 动 测 供 析 分 需 案 计 息 生 信 划 育 政 育 生 策 经济与劳 题 主 动力供需 析 分 育保障 农村家庭计划生 灵活查询 仪 表 盘 人 力 预 标 指 警 分 表 报 析 指标体系 分 析 内 容 主 题 数 据 来 源 教育政策 教育资源投入与产出主 公共教育服务体系主题 … … 教育资源投入与产出主题 公共教育服务体系主题 城乡教育资源配置服务主题 数据仓库数据

23 为市政府与各委办局提供： 人口年龄、性别结构 受教育程度分布 家庭规模类型 天津 23口分布 人

24 建成市人口信息的发布和预报平台。 整合各相关部门人口信息，提供专题信息服务。 未来20年城镇化水平影响
初婚年龄对初婚人数影响 公共支出—对政策影响 按全局指标影响性分析 初婚年龄对一胎孩数影响 按峰值特性性分析 按维度步长比例性分析 平均期望寿命-带来的人口增幅 按预测性对比分析 全局因素构成分析 公共支出—对构成影响 按组成成分分析 24

25 未来，将建立覆盖全省的人口多维 功能区划系统，积极应对我省人口总量 高峰和人口迁移高峰，引导人口从“两 山一坝”及广大农村地区，向京广、京
山铁路沿线，环渤海、环京津等区域有 序转移，推进人与自然的和谐发展。 河北省人口发展功能区布局目标(万人) 8000 蓝色聚集区 6000 4000 2000 2006年 2020年 限制区 278 140 疏散区 1086 986 稳定区 1919 聚集区 3633 4555 全省 6916 7600

26 如能获得基础地理信息数据，则“十二五”期间可以建立覆盖 全省的人口应急响应系统，为各级政府应对地震、灾害等突发事件提供人口信息。
河北省主要地震带分布图 河北省主要蓄滞洪区分布图 1350 万 2200 万 如能获得基础地理信息数据，则“十二五”期间可以建立覆盖 全省的人口应急响应系统，为各级政府应对地震、灾害等突发事件提供人口信息。

27 适龄人口教育预测 未来低龄人口显著增加，不同教育层次的需求也在发生着变动，对教育资源的科学
配置和合理调整提出了新的要求，特别是学前教育资源严重短缺问题已经摆在了面前。

28 劳动力供需平衡预测分析 政策调整 衡分析模型 全国劳动力 供给数量 各省劳动力 率 劳动力供需平 www.dcits.com 政策调整
各大区劳动力 各省劳动力 劳动力需求数量 全国城镇失业率 各大区城镇失业率 各省城镇失业率 城镇 经济 产业 结构 劳动 者迁 移率 生 育 率 经济 增长 水平 消费 增长 水平 通货 膨胀 率 工资 水平

29 适度人口

30 智慧城市-社会保障主题 领取人口预测 农保个人账户收支预测 中央政府财政补贴预测 农保个人账户累计结余预测

31 社会保障基金预警 中国劳动保障科学研究院

32 医疗费用分析 政府、社会、个人医疗保险负担比例展示
智慧医疗模型通过输出每年各区所需的病床数、执业医师数、注册护士数，从而实现各区、城乡医疗资源配置的均等化，确保“十二五”规划中每万人口拥有医疗床位50张、执业医师30人、注册护士40人的目标的实现。 同时，对未来全市职工和居民基本医疗保险、新型农村合作医疗保险的基金缺口进行预测，并分析在不同个人医药费用负担、筹资标准下所需的政府投入的经费，从而健全基本医疗保障体系。 政府、社会、个人医疗保险负担比例展示

33 结合人口数据，有效地集成运用于整个交通运输管理体系，而建立起大范围、全方位、实时、准确、高效的综合的运输和管理系统，对
智慧城市-交通主题 结合人口数据，有效地集成运用于整个交通运输管理体系，而建立起大范围、全方位、实时、准确、高效的综合的运输和管理系统，对 现有的高架路、跨海大桥及即将投入使用的城市地铁等城市交通设施进行统筹规划管理

34 人口重心Vs经济重心 随着城市经济的快速发展，城市经济重心快速向东南偏移，但人口 重心相对稳定，居住与就业分离现象日趋显现，致使区际通勤人口
剧增，城市交通运输压力与日俱增。 34

35 碳氢化 物 硫氧化 氮氧化 一氧化 大气污染 总石油需求 物 硫氧化物排放系数 总天然气需求 总煤炭需求 碳排 N IN N2O TO C
RATIO N2O WEIGHT 氮氧化 物 一氧化 碳 N

36 智慧城市-能源需求主题 源 非化石 化石能 油 天然 直接消费 气 生活消费 工业 风 能 农业 交通运输 能源 电 能 能 能
煤 生活消费 工业 农业 非化石 能源 交通运输 水 能 核 能 电 太阳 能 结合人口、经济发展，分析民生和经济发展目标对淡水、电力、 化石燃料、煤炭等自然资源的依赖强度，提供自然资源对经济和 人口最大承载能力的分析，均衡经济发展和自然资源之间的紧张 关系，为合理开发自然资源及可持续发展提供决策支持。

37 李克强视察予以高度评价 印度副总理予以高度评价 2011年联合国世界人口发展大会推广 随国家领导人出席2012世界可持续发展大会

38 Data Scientist: The Sexiest Job of the 21st Century 1，大数据时代来临实质上是以数据挖
结语 1，大数据时代来临实质上是以数据挖 掘和信息分析提升价值的时代来临。 The Era of Data Analysis. 2， 政府在大数据智慧城市建设上应首 先应用已有信息构建关联和系统化的分 析，体现价值；再补充数据，增加价值 。（盘活存量，用好增量）。 3， 大数据应用在中国发展最有潜力。 中国不仅拥有世界上最多的人口，中国的高等学校有 2300余所，在学大学生总数已超过2300万人，高等教 育总体规模已位居世界第一位。 Data Scientist: The Sexiest Job of the 21st Century 哈佛商业评论 38

39 中 国 领 先 的 整 合 IT 服 务 商 神州数码信息服务股份有限公司