怎样规划部署您的大数据应用系统 大数据厂商联盟 李 永 18888852302 VoltDB基础 概念与架构 1
VoltDB基础 概念与架构
怎样用Connotate+VoltDB+Actian+Datameer发现13岁少女怀孕 内部静态历史交易数据 + （WEB数据+实时动态数据）融合
SecureAlert +Paraccel 位置数据实时分析-行动 抵御犯罪，保卫和平《少年派报告》 “预警人” SecureAlert +Paraccel
数据分析的需求 认知性分析 指令性分析 预测性分析 描述性分析 线性扩展 响应时间 数据量 内存 数据库 MPP Hadoop & RDB 秒级 MPP 分钟级 Hadoop & < 1小时 小时级 RDB < 微秒 100TB 10TB 1TB 100GB 响应时间 数据量 线性扩展 10PB 内存 计算 秒级 索引 技术 分钟级 执行 优化 < 1小时 高度 容错 小时级 VoltDB基础 概念与架构 5
数据的价值链 OLTP Hadoop 单个数据价值 整合数据价值 数据仓库 应用系统 BI DW 功能和性能的满足 1、大量的钱堆积起来的 快 复杂 大型 功能和性能的满足 1、大量的钱堆积起来的 2、修修补补糊起来的 单个数据价值 整合数据价值 OLTP 数据仓库 BI DW Hadoop 数据价值 应用系统 应用复杂度 慢 简单 小型 互动交互分析 实时分析 记录查询 历史数据分析 探索性数据分析 微秒 百分之几秒 几秒 几分钟 几小时 实时交易 实时精准广告 检验匹配 核准交易 数据流处理 计算风险 排行榜 集合整合 计算 检索点击 数据流Retrieve click 显示订单 试验算法 BI商业智能 数据中心 趋势预测分析 算法挖掘 日志分析 欺诈方式匹配
Exploratory Analytics 偶发高频数据与DW历史数据和Hadoop探索分析融合 Hadoop探索性分析 高频实时动态数据 Knowledge Hadoop, et al Data Sciences Exploratory logins sensors impressions orders authorizations clicks trades Raw Events Pre-processed Data 高频数据库VoltDB Make the most informed decision every time there is an interaction Data Warehouse Reports Long term trending Analysis 数据仓库 Ingest Events Decisioning Real-time Analytics 历史数据分析 Transactional Analytic Interactive Real-time Analytics Record Lookup Historical Analytics Exploratory Analytics 7
Exploratory Analytics 偶发高频数据的数据获取与处理 Recom-mendation User Mgt. Click Stream Personal-ization Hadoop Velocity OLTP logins sensors impressions orders authorizations clicks trades Analytic results enrich decision making ERP CRM HR Orders Cart Inv Data warehouse Traditional OLTP Velocity will sneak up on you – push downward through legacy database tiers and continue to affect more and more applications: BI, analytics, etc. Interactive Real-time Analytics Historical Analytics Exploratory Analytics 8
Exploratory Analytics 数据的存储运算 —数据库的选择 内存数据库 毫秒时效的保障 Fast Complex Large Value of Individual Data Item Aggregate Data Value Velocity (“New” OLTP) Hadoop, etc. NoSQL Application Complexity NewSQL Data Value Data Warehouse Traditional RDBMS Simple Slow Small Transactional Analytic Interactive Real-time Analytics Record Lookup Historical Analytics Exploratory Analytics
高频事件数据+留存历史数据---（实时+交互+互动）融合 偶发的高频事件+实时动态互动分析—行动 高频事件数据+留存历史数据---（实时+交互+互动）融合 web数据 储户静态历史交易数据 访问者储户身份和历史交易数据 实时动态数据、感应器、机器 监控、摄像头、交易、位置 通信通话、短信、交通 实时动态数据 WEB数据、微博微信、电子邮件 Cookies、点击行为、情感情绪 发帖投诉、动态的IP
大数据功能和应用解决方案 方案一、Hadoop部署+WEB数据抽取监控情报分析 方案二、Hadoop部署+企业原有应用系统查询分析 方案六、系统性能优化提高速度 方案七、WIFI(位置、点击行为）数据实时精准营销 方案八、高频交易数据实时营销 方案九、实时计费 方案十、网络流量分析 。。。。。。
方案一、Hadoop集群优化部署安全管理解决方案 推荐的部分大数据解决方案 方案一、Hadoop集群优化部署安全管理解决方案 方案二、大数据可视化分析解决方案 12
方案三、WEB数据自动抽取舆情情报分析解决方案 方案四、高频交易（实时计费、营销、流量）分析解决方案 13
方案六、优化数据中心和应用系统提高速度解决方案 方案五、升级构建大数据分析平台解决方案 方案六、优化数据中心和应用系统提高速度解决方案 14
方案七、预测分析解决方案 方案八、海量数据超高速查询解决方案 15
方案九、高校科研院所实验室大数据分析平台 方案十、WIFI（位置）数据分析解决方案 16
（订票点击行为+WIFI+位置+感应器+会员+交易数据） 举例 （行为—身份—匹配—推送—管理） 航空公司机场实时数据精准营销分析 （订票点击行为+WIFI+位置+感应器+会员+交易数据） VoltDB基础 概念与架构 17
数据分析架构图 Syncsort Confidential and Proprietary - do not copy or distribute 18
数据的采集+抽取+整合 一、通过WIFI采集的数据 （上了哪些网站？） 二、通过WEB数据抽取获得点击行为偏好数据 （在网站上正在干什么？） 三、通过刷卡交易获取储户身份和历史交易数据 （过去干了什么？） 四、通过动态行为(交易、监控、位置）获取实时数据 （还在干什么？） 五、各类数据的采集、抽取、整合
第一步：获取访问网站、链接、手机、IP等数据采集 主域 链接 1.1.1.29 13578937894 114.247.0.100:3070 http://114.247.0.100:3070/aiwmServPortal/rest/client/iswhite 1.1.1.16 13039312555 loc.map.baidu.com http://loc.map.baidu.com/loc 1.1.1.28 13504484587 msg.zhangyue.com http://msg.zhangyue.com/zybook/u/p/api.php?key=4U5&Ackage 1.1.1.13 18658180710 cc.cmbchina.com http://cc.cmbchina.com/vip/ pingma.qq.com:80 http://pingma.qq.com:80/mstat/report opensdk.uu.qq.com http://opensdk.uu.qq.com/analytics/upload 192.168.1.11 rq.drcct.cloud.duba.net http://rq.drcct.cloud.duba.net/query?1404456850 spdbccc.com.cn http://www.spdbccc.com.cn/zh/platinum/index.html switching.atm.punchbox.org http://switching.atm.punchbox.org/v1/?appid=CC150A4F 20
采集分析同一手机用户访问网站、内容、时间、IP等数据
机器学习 第二步：对访问的目标网站和网页的 数据抽取 自动 类似传统ETL过程 编码 可视化 样本分析 人为干预 形成规则及代码 配置好 : 交给机器就OK啦! 机器学习 自动 编码 类似传统ETL过程 可视化
把网上数据转化成你自己的数据库
自动全文抽取上网WEB数据 并进行机器学习和语义分析 24
订票点击数据机场 WIFI+实时数据实时分析 乘客点击行为情感偏好分析 点击行为 偏好数据 乘客身份类别 群组分析 WiFi 产品服务 定制分析 RTB产品精准营销 推送分析 业务通告宣传回访评分服务 合作商家 数据分析 各类历史数据 系统安全管理运行控制分析 机票代理动态监控分析 25
大数据厂商联盟服务 联盟做两件事 第一件事：宣传推广 第二件事：推荐产品和应用方案 厂商 CIO 大数据交流、交互、交易平台 CIO菁英部 会员部 推广部 渠道代理部 联盟做两件事 第一件事：宣传推广 第二件事：推荐产品和应用方案
大数据厂商联盟分销推荐产品 Cassandra据库 分析 可视化 平台 大数据可视化 大数据展现 深度学习 大数据可视化 大数据分析平台 预测分析 海量数据查询 NO SQL 数据 存储 高频内存数据库 图形数据库 文件数据库 Cassandra据库 数据 抽取 集成 管理 数据索引 数据抽取 WEB数据抽取 主数据管理 Hadoop优化 集群优化 安全管理 27
MongoDB、 Neo4j、VoltDB、Datastax、Hortonworks 商用版产品许可证及专有服务报价（到渠道价格） 产品及美国服务支持内容 基本服务 标准服务 企业级高级服务 安全 管理 调优 认证支持平台 管理服务 英文支持 Cloud On-Prem & Cloud 中国市场包挂产品许可证+ 美国在线服务+中国专有服务 现场技术培训 认证 现场服务 28