Bennett Hong For 2012华东架构师大会 Nov 18,2012

Presentation on theme: "Bennett Hong For 2012华东架构师大会 Nov 18,2012"— Presentation transcript:

1 Bennett Hong For 2012华东架构师大会 Nov 18,2012
网络广告投放和监测系统架构剖析 Bennett Hong For 2012华东架构师大会 Nov 18,2012

2 Outline 互联网的商业模式 基础广告管理系统架构 数据统计控制系统架构 广告业务系统未来的发展趋势 网络广告的商业逻辑和形态
最基础功能——素材管理和投递 最简模型面临的三大问题 数据统计控制系统架构 计数的准确性和可靠性的常见解决方案 实时决策业务需求对系统架构的要求 广告业务系统未来的发展趋势

3 互联网的商业模式 业务需求的发展是 架构进化的源动力 广告 游戏 电商 各大门户、视频网站 盛大、巨人、畅游、完美 几乎还都在亏钱
携程勉强可以算电商 淘宝其实是虚拟地产商 业务需求的发展是 架构进化的源动力

4 网络广告的业务模式 网站  流量聚集  广告售卖 按空间&时间卖  按投放量卖  按受众卖

5 网络广告系统最简架构 最基础的硬件和系统配置 LAMP架构 数据库独立服务器 关键数据做RAID 但仍旧隐藏3个大坑 广告资源管理库
点位时间预定 素材管理 定时上下线 点位JS脚本 最基础的硬件和系统配置 LAMP架构 数据库独立服务器 关键数据做RAID 但仍旧隐藏3个大坑

6 最简广告系统之问题——系统扩充 负载均衡 镜像1 镜像2 镜像N 镜像同步健康检查 负载均衡的常见方法 DNS轮询——切换慢，没有健康检查
LVS / NginX——软件均衡，成本低，有部分健康检查 4-7层交换机——成本很高，并发连接可到数百万次/秒 负载均衡 镜像1 镜像2 镜像N 镜像同步健康检查

7 最简广告系统之问题——南北互联 上海 电信 联通 广东 辽宁 公共网 教育网 南北互联解决方法 BGP——带宽很贵 智能DNS+双线/多机房
带宽成本较低，但系统复杂 可以自建DNS，也可以采用的智 能DNS供应商

8 最简广告系统之问题——带宽成本 降低带宽成本的方法 启用HTTP gzip 开启浏览者端素材缓存 选用便宜但不慢的二三线城市
动静分离，静态部分架设CDN

9 广告主的新需求——统计和控制 广告主开始关心： 广告投在哪里 多少人看到了广告 多少人点击了广告 如何优化点击转化效率 他们有哪些属性
受众的感受如何 如何让对的人看到广告 ……

10 不适合用于统计的Apache日志 使用Apache等日志做统计的弊端 日志结构不易解析 HTTP头部参数可能缺失 客户端缓存导致漏记
混有无效的错误请求 日志的写并发不好，导致错记

11 广告监测计数的特点 统计系统的特点 待解决主要问题 高并发频繁写 少错漏 广告点击跳转 原子性、非事务 快入库 速统计 广告素材展现
统计计数系统 广告素材展现 广告点击跳转 其他特定事件

12 HTTP高并发的解决方法 Nginx替换Apache 充分利用多核的CPU做多线程
涉及并发的参数除了线程数，还包括：KeepAlive,Timeout等

13 数据入库的解决方法 单条日志有原子性，一致性要求不高 增加缓冲层，批量延迟入库 缓冲分为内存和文件两种，也可以将两种模式结合
在各级之间还可以调整流量，对内容进行校验纠错 Database/Warehouse Log Files Memory Buffer HTTP Requests  吞吐流速逐渐减慢 

14 控制和定向的需求 各种投放控制：总量控制、时段控制、单一用户频次 各种定向手段：地域城市、浏览兴趣（上下文）、搜索行为

15 控制和定向依赖于快速统计 CPU Cache NB RAM NET USB SATA GPU SB AUD SIO 统计需求的难点
GROUP BY ORDER BY COUNT DISTINCT JOIN 瓶颈：流速差和流量差 硬盘-内存数据交换 内存-CPU数据交换 解决方法： RAID或引入SSD 多路CPU

16 实时决策——基于热数据，决策时间<200ms
精准广告是大数据的典型应用 实时决策——基于热数据，决策时间<200ms 模型挖掘——基于多次训练和迭代 精准定向广告

17 数据按热度分级 热数据放内存，做实时决策 温数据放在分布式文件系统，做模型迭代 冷数据高压缩率后存储，很少使用  数据量减小热度提高 
In-memory DB SSD / Flash Memory HDFS / NAS / Swift Archive / Tape  数据量减小热度提高 

18 网络广告系统的发展趋势 分工细化，需要跨系统间实时数据交换 媒体资源管理系统、广告资源交易所 外部决策数据、竞价机构、素材托管和投递

19 华东架构师大会的组委会添加信息 2012华东架构师大会感谢的协办单位和捐助个人： GTI And Virident 世纪互联
AdMaster的创始人洪倍 联想员工李鹏程 中国（上海）创业者公共实训基地 预告信息： 2013年5月18日，将于上海举办2013华东数据库技术大会 人数规模：500人 会务合作，联系人：金官丁，联系电话： ，

20 谢谢！Thanks a lot. 我的微博：@洪倍-手推车 精硕科技 官微： http://e. weibo