大数据应用时代的 “月光宝盒” 张茂森、董鹏飞.

Presentation on theme: "大数据应用时代的 “月光宝盒” 张茂森、董鹏飞."— Presentation transcript:

1 大数据应用时代的 “月光宝盒” 张茂森、董鹏飞

2 从大数据到大数据应用 大数据的4V 大数据应用的4C Volume（数据量） Velocity（时效性） Variety（多变性）
Variability（正确性） 大数据应用的4C Characterize（刻画） Comprehensive（全面） Connection（联接） Common（简单）

3 “月光宝盒”的前世今生 精准营销的需求 从电子交易到电子商务 广告带来的效果是啥？广告费花的值不？ 以前是铺货渠道
现在是重要的Bussiness（数字营销、品牌维护、客户关系、商品企划、客服绩效、供销物流……） 电子商务比起传统商务巨大的优势就是海量信息的数字化， 让我们可以更精准的进行定量分析 全息效果平台——月光宝盒应运而生

4 月光宝盒是什么？

5 打开宝盒 月光宝盒后台 多维报表 效果热力图 多维分析引擎 离线效果计算 实时效果计算引擎 效果规则 行为路径雨林 云梯（离线分布式计算）
虫洞引擎（实时数据整合、流处理） 页面位置标签管理 购买数据 成交数据 流量访问数据 收藏数据 实时数据收集

6 雨林算法 来源C 来源A 来源B 来源D

7 效果热力图 永久被保存的“场景”

8 可控精度UV计算 用8k内存完成亿级别UV计算 消耗降低1500倍

9 离线计算系统架构 DB Configs

10 离线计算引擎 Configs 标准业务库 Effect Owner 标准访问库 Configs Effect Reports
Matcher Tree Builder Colorizer Configs Effect Owner 标准业务库 标准访问库 Configs Effect Reports

11 I/O 计算 高效计算优化策略 预处理访问日志 批量加载配置文件 数据抛弃策略 计算引擎分组 组内同类规则批量计算
支持批量正则合并匹配的DFA引擎 计算

12 正在实施中的…… …... 用户全网全息访问树 流量+效果 数据中心 店内全来源 站外广告联盟 …... 效果数据中心 效果数据中心
ISV 内部数据需求 例：etao网站，无线Wap 量子恒道店铺经 电商分析, 一推 …... 聚石塔御膳房 流量管理平台 用户全网全息访问树 流量+效果 数据中心 店内全来源 效果数据中心 （含多天效果） 站外广告联盟 效果数据中心 （含多天效果） …... 用户淘内全息访问树 用户店内全息访问树 月光宝盒效果计算引擎 访问日志 (aplus, lz_acookie…) 业务数据 成交,收藏,购物车… 搜索日志 展现,点击… ……

13 Q & A