Bennett Hong For 2012华东架构师大会 Nov 18,2012

Slides:



Advertisements
Similar presentations
模板的使用 教育学 江西教育学院教育系 冯芳 2012 - 10. 第二章 教育学的产生和发展 第一节 教育学的研究对象和任务 第二节 教育学的产生与发展 第三节 学习教育学的意义与方法.
Advertisements

定 格 入 格 破 格 —— 新诗仿写复习训练 仿照下列句子,再把 “ 人生 ” 比喻成 “ 大海 ”“ 天空 ” , 造两个句子。 如果说人生是一首优美的乐曲,那么痛苦则 是其中一个不可或缺的音符。 参考答案: 1 、如果说人生是一望无际的大海,那么挫折则 是其中一个骤然翻起的浪花。 2 、如果说人生是一片湛蓝的天空,那么失意则.
高中新课程思想政治(必 修 1 、 2 )的教学体会 北京师大二附中 李文燕 2008 年西城新课程教师培训的讲稿.
复习提问 1. 从物理角度来说说什么是噪声? 从物理角度来说噪声是指发声体做无规则 的振动时发出的声音。 2. 从环境保护角度来说说什么是噪声? 从环境保护的角度看:凡是妨碍人正常休 息,学习和工作的声音,以及对人们要听 的声音 起干扰作用的声音,都属噪声。
教育部 1 教育部技職司 南區: 2010 年 11 月 5 日 北區: 2010 年 11 月 8 日 中區: 2010 年 11 月 9 日 產學攜手合作計畫 政策宣導.
教师成绩录入步骤 1. 登录教务系统 2. 进入教师成绩管理界面 3. 选择相应的教学班,点击 “ 课程成绩录 入 ” 进入成绩录入界面 4. 点击 “ 设置 ” 按钮设置 “ 成绩分项 ” 5. 录入成绩, “ 保存成绩 ” 按钮可以保存成 绩但不提交(提交后不能再修改成绩) 6. “ 提交成绩 ”
104 年度環保小學堂 經費編列注意事項 會計室 : 丁子芸 中華民國 103 年 10 月 22 日 會計室 : 丁子芸 中華民國 103 年 10 月 22 日.
《饲料分析与质量检测技术》 说课 主讲教师:管建慧. 课程名称: 《饲料分析与饲料质量检测技术 》 课程编码:
7.2 图示化记忆 记忆的概述 图示化记忆 联想记忆法 奇特联想记忆法 用手记忆.
方振镇 华东架构师大会. SNS 和 Web 游戏基本对比 SNS 游戏后台 Web 游戏后台 如何选择 问答.
用 藥 安 全 用 藥 安 全 護 理 師 張 嘉 芬. 前 言 前 言 正確用藥的方法 藥袋上的秘辛 為了減少重大疾病或是醫療處理、 用藥不當的相關事件發生。
佛山 佛山简称 “ 禅 ” ,是一座历史悠久的文化 名城,是中华人民共和国广东省下辖的一 个地级市, 1951 年 6 月 26 日成立。这里是黄 飞鸿、李小龙的故乡,是珠三角的经济重 地,一个荣耀千年的商贸名城,用生生不 息的陶都圣火锻造出 “ 敢为人先,崇文务实 ” 的城市。 卷首语目录尾页.
阿尔伯特亲王 阿尔伯特亲王纪念碑 维多利亚女王夫妇 维多利亚女王一家 建造水晶宫 水晶宫初建时的照片.
C A D C D.
2009/12/211 商務科技管理系 實 務 專 題 報 告 辦桌非難事 學生: 施雅雯 ( ) 張敬芝 ( ) 葉明臻 ( ) 黃怡琅 ( )
资源平台应用培训 武汉市交通学校信息化建设指导委员会.
梦想启航 ——大学生活与职业规划专题讲座.
河北保定外国语学校 高三家长会.
小一家長會 訓育訊息 德性培育組 余家濂主任
第五章 话语的语用意义(上) 主讲人:周明强.
成语乐园 成语乐园 执教老师:李道梅.
从生命伦理学角度 对转基因食品市场准入标准及道德评价标准的研究
容量规划与保护.
以信息化带动教育现代化,打造教育的“南山质量”
104年度國立宜蘭大學新進主管研討 主計業務宣導說明
分布式系统 Distributed Systems 第 12 讲 “大型”网站架构设计 Lecture 12 Large Scale Website Architecture 王晓阳、张 奇 复旦大学 计算机科学技术学院.
淘宝海量数据产品技术架构 张轩丞(朋春) 淘宝网-数据平台与产品部.
个体税收征管政策讲解 浏阳市地方税务局.
102年實施之高中職及五專多元入學(含免試入學)之招生機制
读者与图书馆 2009年春季版 总第 15 期 山 东 交 通 学 院 图 书 馆 2009年3月.
詹天佑.
封面 2015易驾考最新分享: 科目二考试方法秘诀 文章来源:易驾考官网.
基于行业的 企业技术创新信息保障体系研究 刘 华 博士 中国科学技术信息研究所.
北师大版义务教育课程标准实验教科书 七年级上册讲义 第17课 先进的科学技术.
第四讲 1949—1991年的中苏关系 及其经验教训.
第一部分 中考基础复习 第一章 声现象.
“鼠标加水泥”的百货公司——武汉中百 朱巧巧 陆嘉怡 田泽宇.
合理控制索道游客流量 确保景区可持续发展 云南丽江玉龙雪山索道 陈加林 二0一五年十一月.
千里挑一的“征途” ——浅谈中国“国考”热.
研修4组 学习简报(第3期) 主编:左文玲 2015年2月7日.
潘集小学英语班 学习简报(第5期) 主编:吴婷 2016年2月28日.
主办:泰兴市质量强市领导小组办公室 承办:泰 兴 市 市 场 监 督 管 理 局.
2012级暑期放假安全教育 及宿舍搬迁工作布置会 北京化工大学理学院 辅导员:曹鼎 2013年6月6日.
2013华东数据库技术大会 人人网的SNS数据库架构与设计艺术 周彦伟
立體四子棋 研究成員:謝旻諺、 鄭家鈞 指導老師:林屏森老師.
“三步式”网络学习法 《探究与发现》数学网络学习平台介绍
中国光大银行“流量分析系统” PHPCPS网络广告联盟系统解决方案 投标方案介绍
初中思想品德 规范的教学设计与案例分析.
第一章 复 习 锦囊妙计 多看书 多看笔记 善于梳理.
班级安全文化建设的思考与实践 夯实安全基础 规范安全行为 培养安全习惯 训练安全能力 尤 学 文 管 理 学 博 士
三創產業學程 學群主持人:袁國榮召集人.
天涯运维的那些事 网络系统部.天涯.
孔子教育思想的现实思考 陈丰辉.
2015年云南财经大学图书馆 新生入馆教育考核试题 答题指南
翰林自然 六年級上學期 第二單元 聲音與樂器.
《体育与健康》说课稿 课题:新兴体育舞蹈 —踢踏舞教学 北师大泉州附中 陈玉慈.
江西省专业技术人员 继续教育信息管理系统.
上海市出口退税网上申报系统V2.0 —— 大连龙图信息技术股份有限公司 ——.
《生活与哲学》第一轮复习 第七课唯物辩证法的联系观.
《计算机操作员》精品 课件 淮南市潘集职教中心
淘宝核心系统数据库组 褚霸 /06/25 大话SSD 淘宝核心系统数据库组 褚霸 /06/25.
第2章 電腦硬體知識 2-1 電腦基本硬體結構 2-2 電腦的週邊設備 2-3 電腦的操作與保養
Windows服务器操作系统:2003 市场占有率仍稳居第一
项目一 了解计算机 项目二 选配计算机硬件 项目三 组装计算机 项目四 设置BIOS和硬盘分区 项目五 安装操作系统和常用软件
創造不一樣的人生 -如何與身心障礙者接觸 新竹教育大學 薛明里.
多姿多彩的世界.
臺北市政府教育局 97年臺北市立國民中學教科書採購作業 政風座談會議
§2.2.1对数与对数运算.
指數、對數函數 數101乙 周文翔 朱哲明 張良聿.
李商隐诗两首 锦 瑟 马 嵬 夕阳无限好,只是尽黄昏。.
Presentation transcript:

Bennett Hong For 2012华东架构师大会 Nov 18,2012 网络广告投放和监测系统架构剖析 Bennett Hong For 2012华东架构师大会 Nov 18,2012

Outline 互联网的商业模式 基础广告管理系统架构 数据统计控制系统架构 广告业务系统未来的发展趋势 网络广告的商业逻辑和形态 最基础功能——素材管理和投递 最简模型面临的三大问题 数据统计控制系统架构 计数的准确性和可靠性的常见解决方案 实时决策业务需求对系统架构的要求 广告业务系统未来的发展趋势

互联网的商业模式 业务需求的发展是 架构进化的源动力 广告 游戏 电商 各大门户、视频网站 盛大、巨人、畅游、完美 几乎还都在亏钱 携程勉强可以算电商 淘宝其实是虚拟地产商 业务需求的发展是 架构进化的源动力

网络广告的业务模式 网站  流量聚集  广告售卖 按空间&时间卖  按投放量卖  按受众卖

网络广告系统最简架构 最基础的硬件和系统配置 LAMP架构 数据库独立服务器 关键数据做RAID 但仍旧隐藏3个大坑 广告资源管理库 点位时间预定 素材管理 定时上下线 点位JS脚本 最基础的硬件和系统配置 LAMP架构 数据库独立服务器 关键数据做RAID 但仍旧隐藏3个大坑

最简广告系统之问题——系统扩充 负载均衡 镜像1 镜像2 镜像N 镜像同步健康检查 负载均衡的常见方法 DNS轮询——切换慢,没有健康检查 LVS / NginX——软件均衡,成本低,有部分健康检查 4-7层交换机——成本很高,并发连接可到数百万次/秒 负载均衡 镜像1 镜像2 镜像N 镜像同步健康检查

最简广告系统之问题——南北互联 上海 电信 联通 广东 辽宁 公共网 教育网 南北互联解决方法 BGP——带宽很贵 智能DNS+双线/多机房 带宽成本较低,但系统复杂 可以自建DNS,也可以采用的智 能DNS供应商

最简广告系统之问题——带宽成本 降低带宽成本的方法 启用HTTP gzip 开启浏览者端素材缓存 选用便宜但不慢的二三线城市 动静分离,静态部分架设CDN

广告主的新需求——统计和控制 广告主开始关心: 广告投在哪里 多少人看到了广告 多少人点击了广告 如何优化点击转化效率 他们有哪些属性 受众的感受如何 如何让对的人看到广告 ……

不适合用于统计的Apache日志 使用Apache等日志做统计的弊端 日志结构不易解析 HTTP头部参数可能缺失 客户端缓存导致漏记 混有无效的错误请求 日志的写并发不好,导致错记

广告监测计数的特点 统计系统的特点 待解决主要问题 高并发频繁写 少错漏 广告点击跳转 原子性、非事务 快入库 速统计 广告素材展现 统计计数系统 广告素材展现 广告点击跳转 其他特定事件

HTTP高并发的解决方法 Nginx替换Apache 充分利用多核的CPU做多线程 涉及并发的参数除了线程数,还包括:KeepAlive,Timeout等

数据入库的解决方法 单条日志有原子性,一致性要求不高 增加缓冲层,批量延迟入库 缓冲分为内存和文件两种,也可以将两种模式结合 在各级之间还可以调整流量,对内容进行校验纠错 Database/Warehouse Log Files Memory Buffer HTTP Requests  吞吐流速逐渐减慢 

控制和定向的需求 各种投放控制:总量控制、时段控制、单一用户频次 各种定向手段:地域城市、浏览兴趣(上下文)、搜索行为

控制和定向依赖于快速统计 CPU Cache NB RAM NET USB SATA GPU SB AUD SIO 统计需求的难点 GROUP BY ORDER BY COUNT DISTINCT JOIN 瓶颈:流速差和流量差 硬盘-内存数据交换 内存-CPU数据交换 解决方法: RAID或引入SSD 多路CPU

实时决策——基于热数据,决策时间<200ms 精准广告是大数据的典型应用 实时决策——基于热数据,决策时间<200ms 模型挖掘——基于多次训练和迭代 精准定向广告

数据按热度分级 热数据放内存,做实时决策 温数据放在分布式文件系统,做模型迭代 冷数据高压缩率后存储,很少使用  数据量减小热度提高  In-memory DB SSD / Flash Memory HDFS / NAS / Swift Archive / Tape  数据量减小热度提高 

网络广告系统的发展趋势 分工细化,需要跨系统间实时数据交换 媒体资源管理系统、广告资源交易所 外部决策数据、竞价机构、素材托管和投递

华东架构师大会的组委会添加信息 2012华东架构师大会感谢的协办单位和捐助个人: GTI And Virident 世纪互联 AdMaster的创始人洪倍 联想员工李鹏程 中国(上海)创业者公共实训基地 预告信息: 2013年5月18日,将于上海举办2013华东数据库技术大会 人数规模:500人 会务合作,联系人:金官丁,联系电话:136 6166 8096, 邮箱地址:mysqlops@sina.com,新浪微博:@mysqlops

谢谢!Thanks a lot. 我的微博:@洪倍-手推车 精硕科技 官微: http://e. weibo