晟元大数据云平台 食品安全云大数据云平台 2017年4月 北京晟元亿讯科技有限公司.

Presentation on theme: "晟元大数据云平台 食品安全云大数据云平台 2017年4月 北京晟元亿讯科技有限公司."— Presentation transcript:

1 晟元大数据云平台 食品安全云大数据云平台 2017年4月 北京晟元亿讯科技有限公司

2 大数据云平台 构建 大数据平台 分析决策 监督考核支撑 业务分析 告警监控 外部接口 市场监测 风险洞察 应用 文本数据库 关系型数据库
共享数据，服务应用支撑 文本数据库 关系型数据库 数据仓库 数据清洗转换（ETL） 离线分布式计算 实时计算 数据模型 数据魔方 数据服务接口 数据查询服务 数据交换服务 大数据平台 数据分析服务 集中，数据整合 晟元云 企业 服务云 大众 周边 系统 数据源

3 解决对海量数据的存储、管理、检索、分析和应用
大数据云平台 Hadoop Hadoop大数据平台 HDFS 非结构化数据存储 HBase (半)结构化数据存储 Impala 结构化分区数据存储 Phoenix/HQL 类SQL查询 实时流计算 内存计算 分布式并行计算 模式识别/预测探索 机器学习/数据挖掘 MapReduce Spark Streaming MLlib GraphX Mahout Oozie 任务调度 解决对海量数据的存储、管理、检索、分析和应用 ZooKeeper 协同服务 Ganglia 系统监控 Kerbose 数据安全

4 大数据云平台 服务过程 数据采集 数据管理 分析应用 基础实施 平台集群搭建 采集抽取数据(ETL) 数据 清洗 转换 补全 去噪 格式化
建立数据模型，并以结构化和半结构化形式储存于分布式数据（仓）库中 建立算法模型，确定关联关系，并以批量计算/内存计算/流计算/实时计算等形式设计算法模型 创建并调度计算任务，计算出所需结果，并对其进行可视化处理 建立对外服务数据接口，实现对可视化数据的存取和展示，满足用户需求 实现对多种异构海量食品安全数据的存储和管理，满足高可靠性和高可用性的要求 实现业务逻辑和业务需求，将确定的需求逻辑转化为适合运行于大数据平台的数学/计算模型 在大数据平台中实现对业务逻辑的计算，并将抽象难懂的数字转换为具有现实意义的可读性/可视化内容 实现用户与大数据平台的交互、用户与数据的交互，建立大数据平台的操作入口，对外提供数据服务 平台集群搭建

5 大数据云平台 数据服务 技术社区 企业服务 应用数据 日志数据 注册 创建应用生成APP Key 申请访问API列表
API管理者审核, 生成secure Key 添加测试用户调用(可选) 正式调用, 返回调用结果 技术社区 企业服务 应用数据 日志数据

6 大数据云平台 决策支撑应用 晟元大数据云平台 构建分析模型，提供决策支撑 热度 点击量 平均载入时间 访问来源 转化率 …… UV PV
加载时间 热度 用户地区 UV PV 平均载入时间 转化率 点击量 …… 用户行为 用户评价 用户偏好 新用户比例 行业数据 晟元大数据云平台 访问来源 构建分析模型，提供决策支撑

7 大数据云平台 数据中心

8 合作院校 清华大学大数据研究院 北邮大数据联合实验室