数据创造价值、创新驱动未来 浅析高校大数据建设方法 演讲人：伍剑 时间：2016.5.28.

Presentation on theme: "数据创造价值、创新驱动未来 浅析高校大数据建设方法 演讲人：伍剑 时间：2016.5.28."— Presentation transcript:

1 数据创造价值、创新驱动未来 浅析高校大数据建设方法 演讲人：伍剑 时间：

2 高校大数据建设国家政策背景 2015年总结：大数据产业政策频出 步入快速发展期
2015年12月21日，《中国基础教育大数据发展白皮书》首次研讨会在京召开，对全国教育大数据的建设给予探索和指导参考意义。 9月5日电 经李克强总理签批，国务院日前印发《促进大数据发展行动纲要》，系统部署大数据发展工作。其中，也提到了教育大数据系统的建设。 目前政策对大数据的支持力度正不断提升，大数据已上升至国家战略。自去年3月“大数据”首次出现在《政府工作报告》中以来，国务院常务会议一年内6次提及大数据运用。在6月17日的国务院常务会议上，总理李克强再次强调大数据运用的重要性。7月1日，国务院办公厅印发了《关于运用大数据加强对市场主体服务和监管的若干意见》。 2015年总结：大数据产业政策频出 步入快速发展期 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

3 高校大数据建设遇到的问题 部份领域缺乏业务 有效数据量相对较少 数据接口不完善 项目可以落地，问题可以统一接口，减小沟通与协凋
公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

4 高校大数据建设遇到的问题 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样
校领导 决策更加科学 教师 教学更加便捷 教学水平提升 学生 随时随地个性化学习 家长 及时掌握子女在校情况 教学管理与服务 管理更加简单高效 服务水平不断提升 校园环境 更加绿色、环保、安全 信息化覆盖范围和服务水平有效提升 社会 更多优质教育资源和科研成果开放共享 高校大数据建设遇到的问题 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

5 三盟大数据业务模块 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样
舆情分析 数据安全 行为画像 招生就业 我的大学 综合预警 学校概况 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

6 学校概况 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

7 “我的大学”我的教学 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

8 “我的大学”我的消费 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

9 “我的大学”我的网络 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

10 “学生行为画像” 数据仓库 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果
基础知识 学习方式 学习需求 课程标准 资源类型 授课特点 家庭背景 兴趣爱好 个性特点 最佳的 学习路径 学习时间表 最适合的 课程材料 适合的 最佳教师 数据仓库 数据收集 收集 大数据关联 与挖掘分析 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

11 学生行为预警 根据对学生一卡通、上网行为、课程信息等情况的实时收集，了解各学生在学校的这时行为，在出现特殊情况时可及时报警，提升学校管理的及时性与风险预判定位的能力。 学生沉迷预警 图书借阅预警 学生失联预警 贫困生预警 上网预警 一卡通消费预警 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

12 就业指导 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

13 爬虫引擎 清洗引擎 邮件告警 采集集群 互联网数据采集平台 实时检索引擎 数据挖掘分析平台 分布式存储 预警模块 日报、周报 监控仪表板 通知管理 微信告警 监控平台 通过对学校内部的论坛、社会上的常用互联网平台的监控，实时了解学校舆论的关注热点词，以及社会上对学校的舆论动态，并实时反馈给学校管理者和校领导，使学校做出及时的舆论导向工作。 学校舆情 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

14 安全大数据 通过校园信息化平台的各软硬件的日志和其它信息的收集分析，动态评估学校安全的整体情况。 校园网
教师 研究生 本科生 网络日志数据 上网身份认证数据 学籍、人事数据 大数据存储与交换平台 大数据分析平台 三盟信 息收集 通过校园信息化平台的各软硬件的日志和其它信息的收集分析，动态评估学校安全的整体情况。 网络设备 安全设备 服务器 业务系统 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

15 支持安全状态监控图 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

16 三盟科技大数据方案架构 01---ETL 02---存储 03---呈现 项目可以落地，问题可以统一接口，减小沟通与协凋
业务数据采集：三盟公司自我研发的采集模块。 外部数据采集：Apache开源爬虫工具、三盟二次开发 02---存储 静态数据：采用当前最流行的开源数据库Mysql 动态数据：存储在HDFS上，使用Spark进行数据分析； 热数据：存储在HBase上，进行快速检索 03---呈现 后台：使用SpringMvc+Hibernate+Druid+Shiro框架 前端：使用Jquery+BootStrap+Echarts组件 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

17 数据采集工具 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样
Arachnid crawlzilla Ex-Crawler Heritrix heyDr ItSucks jcrawl JSpider Leopdo MetaSeeker Playfish Spiderman webmagic Web-Harvest WebSPHINX 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

18 大数据仓库设计 数据分析平台 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果
报表视图库 校外网站数据 ＥＴＬ ETL 数据分析平台 采集库 互联网 校园网 我的大学 就业指导 综合预警平台 学生行为画像 学校舆情分析 科研管理系统 学校概况 企业招生平台 校园WiFi地图 资产管理系统 课程管理系统 校内管理类数据 教学类数据 51job 智联招聘 英才 网 猎聘网 … 百度贴吧 新浪微博 天涯 论坛 教务系统 学工系统 一卡通 研究生管理 设备管理 医疗管理 上网行为 人事系统 科研管理 图书管理 网络 计费 无线Wifi 宿舍管理 房产管理 排课系统 MySql Hive Hbase HDFS 统计库 集群 主题库 就业数据库 预警数据库 行为数据库 科研数据库 舆情数据库 招生数据库 资产数据库 人事数据库 安全数据库 管理数据库 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

19 三盟集群二次开发和接口封装（DBBOX）
底层平台与统一业务接口 Mysql Hive Hbase Hdfs MongoDB Oracle 其它… 三盟集群二次开发和接口封装（DBBOX） 统一访问接口 统一对外接口 我的大学 学生行为画像 学校舆情分析 就业指导 数据安全分析 学生行为预警 其它业务… 使用统一的大数据接口 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

20 大数据环境自动部署 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

21 三盟大数据研发团队（中国） 三盟研发人员： 100 100% 28岁 外部顾问团队：
总人数：>100人 ，核心骨干来自于运营商行业的大数据公司，  本科、研究生及以上学历占100%， 三盟大数据研发团队（中国） 外部顾问团队 三盟研发团队 24位来自全国985、211高校信息化专家，为三盟大数据产品的实际需求和应用落地把关 平均年龄 大数据研发团队的平均年龄为28岁 本科以上学历人员占比超过100% 100% 本科学历 研发人员 三盟中国大数据研发团队成员>100人 100 28岁 三盟研发人员： 外部顾问团队： 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

22 蒋志予 博士 三盟大数据研发团队（美国硅谷） 蒋志予博士——三盟硅谷大数据研究院院长 纽约州立大学石溪分校物理博士，斯坦福大学博士后
蒋志予 博士 蒋志予博士——三盟硅谷大数据研究院院长 纽约州立大学石溪分校物理博士，斯坦福大学博士后 研究成果：参与1994年顶夸克(top quark)的发现/X光自由电子激光技术 历 任： IBM 信息架构设计师 Dell Global Services的数据中心团队负责人 洛克希德马丁信息科技国土安全部总技术官(CTO） 华盛顿州政府管理和技术资讯顾问 毕博(BearingPoint)大数据团队负责人 三盟大数据研发团队（美国硅谷） 项目可以落地，问题可以统一接口，减小沟通与协凋 公司 定位，决定未来的高度与效果 能力模型不一样，工资代遇也不一样

23 感谢您的观看！