大数据应用时代的 “月光宝盒” 张茂森、董鹏飞
从大数据到大数据应用 大数据的4V 大数据应用的4C Volume（数据量） Velocity（时效性） Variety（多变性） Variability（正确性） 大数据应用的4C Characterize（刻画） Comprehensive（全面） Connection（联接） Common（简单）
“月光宝盒”的前世今生 精准营销的需求 从电子交易到电子商务 广告带来的效果是啥？广告费花的值不？ 以前是铺货渠道 现在是重要的Bussiness（数字营销、品牌维护、客户关系、商品企划、客服绩效、供销物流……） 电子商务比起传统商务巨大的优势就是海量信息的数字化， 让我们可以更精准的进行定量分析 全息效果平台——月光宝盒应运而生
月光宝盒是什么？
打开宝盒 月光宝盒后台 多维报表 效果热力图 多维分析引擎 离线效果计算 实时效果计算引擎 效果规则 行为路径雨林 云梯（离线分布式计算） 虫洞引擎（实时数据整合、流处理） 页面位置标签管理 购买数据 成交数据 流量访问数据 收藏数据 实时数据收集
雨林算法 来源C 来源A 来源B 来源D
效果热力图 永久被保存的“场景”
可控精度UV计算 用8k内存完成亿级别UV计算 消耗降低1500倍
离线计算系统架构 DB Configs
离线计算引擎 Configs 标准业务库 Effect Owner 标准访问库 Configs Effect Reports Matcher Tree Builder Colorizer Configs Effect Owner 标准业务库 标准访问库 Configs Effect Reports
I/O 计算 高效计算优化策略 预处理访问日志 批量加载配置文件 数据抛弃策略 计算引擎分组 组内同类规则批量计算 支持批量正则合并匹配的DFA引擎 计算
正在实施中的…… …... 用户全网全息访问树 流量+效果 数据中心 店内全来源 站外广告联盟 …... 效果数据中心 效果数据中心 ISV 内部数据需求 例：etao网站，无线Wap 量子恒道店铺经 电商分析, 一推 …... 聚石塔御膳房 流量管理平台 用户全网全息访问树 流量+效果 数据中心 店内全来源 效果数据中心 （含多天效果） 站外广告联盟 效果数据中心 （含多天效果） …... 用户淘内全息访问树 用户店内全息访问树 月光宝盒效果计算引擎 访问日志 (aplus, lz_acookie…) 业务数据 成交,收藏,购物车… 搜索日志 展现,点击… ……
Q & A