实时计算平台及相关业务实践 Baidu.inf.dc ChaiHua <#>.

Slides:



Advertisements
Similar presentations
手工加工全框眼镜技术 前调整确定加工基准制作模板割边 磨边磨安全角 (抛光) 装配 后调整检测.
Advertisements

如何制定运动处方 一、学习提示与要点 二、运动处方概念及原理 三、健身运动处方的内容 四、运动处方示例.
融资融券业务的保证金与保证金比例 光大证券 · 信用业务管理总部 2015 年 12 月 ★融资融券业务投资者教育活动材料★
第三节 排气护理. 一、肠胀气病人的护理 肠胀气是指胃肠道内有过多的气体积聚,不能 排出。 1. 心理护理 2. 适当活动 3. 必要时遵医嘱给药或行肛管排气 4. 健康教育.
—— 海淀区高三化学《考试说明》解读 2015 年 1 月 29 日 学习《考试说明》 备考理综化学.
道家養生保健長壽藥膳 藥膳應用原則: 天人相應,道法自然 藥膳有兩個職能: 一是保健增壽,一是治療疾病。 ◎ 黃蕙棻.
第二节 脉搏的评估及异 常时的护理. 教学目标  1 、解释有关名词  2 、说出脉搏、呼吸的正常值  3 、叙述脉搏、呼吸的测量方法;识别脉搏、 呼吸的异常变化  4 、叙述测量脉搏、呼吸的注意事项  5 、正确记录脉搏、呼吸,做到认真负责,实 事求是。
作者:海倫凱勒 出版社:文經閣 出版年: 2006 ISBN : J 邱宣文.
九年级物理一轮复习 第一章 声现象 知识要点. 1. 声音的产生和传播  ( 1 )声音的产生:声音是由于物体的振动产生的。  凡是发声的物体都在振动。振动停止,发声也停止。  ( 2 )声源:正在发声的物体叫声源。固体、液体、气体 都可以作为声源,有声音一定有声源。  ( 3 )声音的传播:声音的传播必须有介质,声音可以在.
電機電子群 培養學生具備電機與電子群共同核心能力,使具備電機與電子領域有關操作、維修、測試、應用等實用專 業技能。並為相關專業領域之學習或高一層級專業知能之進修奠定基礎。
项目四、腻子的施工  一、准备工作  二、安全与卫生  三、板件表面的处理  四、准备腻子  五、刮腻子  六、腻子的干燥  七、腻子的打磨  结束.
胸部 主要骨骼标志 胸骨上切迹 胸骨柄 胸骨角 肋骨 肋间隙 剑突 肩胛骨 肋脊角. 胸部 主要骨骼标志 胸骨上切迹 胸骨柄 胸骨角 肋骨 肋间隙 剑突 肩胛骨 肋脊角.
体 体 育 育 保 保 健 健 学 学 实 实 验 验 主讲人:王会凤 黄淮学院体育系.
冷 热 疗 法.
第五章 话语的语用意义(上) 主讲人:周明强.
中医美容保健.
個人理財規劃 第八章 投資規劃.
保育员工作职责.
学习情境三 桥梁下部结构的构造与施工 桥梁墩台的构造.
幸福的小組聚會 2016/5/8幸福在轉角 下一站幸福.
开天门 梅州市中医医院 郑雪辉.
小儿斜颈的诊断与治疗.
生活护理技术 项目一 医院感染的预防与控制 项目二 排泄护理技术 项目三 促进呼吸功能护理 项目一 冷热疗法 项目二 标本采集 项目三
中式面点技艺 长春市商业职业技术学校 王成贵 中式面点技艺 长春市商业职业技术学校 授课教师: 王 成 贵.
第六章 老年人清洁与舒适的护理 社区护理学教研室.
消防安全知识讲座 ---校园防火与逃生 保卫科.
簡報大綱 一、本期執行重點 二、由教學單位協助辦理項目 三、教學卓越計畫經費補助項目 四、卓越計畫管考網站填表說明.
【开心一分钟】 一到下午这个点就特么的困.
华东师范大学职业教育与成人教育研究所所长 石伟平博士、教授、博士生导师 天津
第一章 运动的描述  .
医疗废物管理 医院感染管理科 李建军.
一寸光阴一寸金 寸金难买寸光阴 时间.
主办:泰兴市质量强市领导小组办公室 承办:泰 兴 市 市 场 监 督 管 理 局.
项目十四 泌乳母猪的饲养管理.
人工授精器械识别及假阴道安装 一、实验目的 二、实验材料 三、实验内容 四、作业.
重阳节的来历 下面我们简单了解下重阳节的介绍:
第三章 儿童少年、女子及 中老年的体育卫生 第一节 儿童少年的体育卫生
2011年高考考前指导(物理) 报告人:詹道友 (合肥八中).
学生学业水平诊断与提升策略探究 平阳中学 周秀丽.
征服火灾是全社会的事业,它需要科技的进步,需要消防监督,也需要消防科学知识的普及和提高。通过各类的消防安全培训,从而使人们更好的掌握消防常识和了解消防法规,提高消防安全意识,提高自防自救能力,使我们的生产和生活远离火灾的侵袭。
食品中毒的概念? 概念指摄入了含有生物性、化学性有毒、有害物质的食品或者把有毒、有害物质当作食品摄入后出现的非传染性(不属于传染病)的急性、亚急性疾病。 食品中毒的特点? 1. 潜伏期短,大约进食后0.5-24h相继发病,来势急剧,短时间内可能有大量病人同时发病。 2. 与食物有密切的关系,所有病人都食过同一种食物。
足球運動情報蒐集與分析 趙榮瑞 教授.
講師:賴玉珊 心理師 證照:諮商心理師(諮心字第001495號) 學歷:國立台南大學諮商與輔導研究所 畢 現任:長榮大學諮商中心專任心理師
二、汽化和液化.
复习: 一、细胞膜的成分 1、脂质 2、蛋白质 3、糖类 二、生物膜的功能: 1、界膜 2、控制物质的进出 3、进行细胞间信息交流.
实验一:细菌的革兰氏染色 1.实验器材 菌种:大肠杆菌;金黄色葡萄球菌;链球菌;溶藻弧菌
第十八章 药物疗法与过敏试验法 郭三花 岳月梅 忻州职院护理系.
第七章 港航工程模型 试验设备及模型制作技术
第1节人体内物质的运输 人体的组织细胞每时每刻都需要营养物质和氧,并不断产生二氧化碳、尿素等废物。这些物质在人体内运输主要依靠 系统。人体的血液循环系统由 、 和 组成。 血液循环 血管 心脏 血液.
托幼机构 消毒隔离知识培训 海淀区疾病预防控制中心 消毒科
幸福的小組聚會 2016/03/13 耶穌能 恢復你的價值.
第二节救生艇种类及性能 一、救生艇的分类 缺点:没有支架和顶棚,人员暴露在自然环境中 (一)、按照结构形式分类 1、开敞式救生艇
7-1 能量的形式和轉換 1 of 12 能量是促成自然現象變化的根源,太陽能替我們將水搬到高處,人類再利用高、低水位差發電。
第3节 以水为主要传热介质 的烹调方法.
《生活与哲学》第一轮复习 第七课唯物辩证法的联系观.
湖南农业大学农业航空团队研究成果 航空作业机型 湖南农业大学农业航空研究中心 成果专栏 ◎团队简介
如何对矿井 通风进行审计式监察.
第一章 汽车的解体与清洗 第一节 汽车解体工艺 一、零件的拆卸原则 1、拆卸前应熟悉被拆总成的结构
開平餐飲學校制服 介紹 內場制服 外場制服 一般制服 服裝保養.
網路遊戲版 幸福農場168號.
評分標準.
新生與傳承 不同世代諮商心理師的交會 臺北市諮商心理師公會 107年度公會主辦研習課程.
薪資管理系統 學號: 姓名:侯明谷.
实验八 石蜡切片法.
第三章 光现象 三、光的直线传播.
光的直线传播 鸡泽县实验中学.
2.4 让声音为人类服务.
床上洗头.
多姿多彩的世界.
Presentation transcript:

实时计算平台及相关业务实践 Baidu.inf.dc ChaiHua <#>

大纲 我们现在的计算平台 我们平台上的业务 我们将来要做的工作

大纲 我们现在的计算平台 我们平台上的业务 我们将来要做的工作

实时计算平台1 支持毫秒级别至秒级别的计算延迟需求 高可靠性,高可伸缩性,高可扩展性 支持DAG描述的流式作业 Per-Record的计算模式与底层架构 Streaming模式支持多语言扩展

实时计算平台1 机群规模:500+ -> 1000 机群QPS:10M -- 100M qps 延迟保证:99.9% 50ms- 在线系统 统一平台服务众多(20+)业务方

实时计算平台2 支持十秒级别至分钟级别的计算延迟需求 高可靠性,高可扩展性 支持DAG描述的流式作业/Queue-Worker模型作业 具备Transaction属性,保证计算数据的不重不丢 基于增量/小批量的计算模式与底层架构 Streaming模式支持多语言扩展

实时计算平台2 机群规模:500+ -> 1000 支持千级worker并发,百级业务流并发 多级Master架构设计 控制流与数据流分离 统一资源层

大纲 我们现在的计算平台 我们平台上的业务 我们将来要做的工作

实时计算平台1 广告计算平台 主要需求: 真正的实时需求 :百毫秒级别的延迟指标 灵活的拓扑变化:新增用户数据业务流,支持各种策略实验 高稳定性:跨机房故障时,优雅的服务降级

实时计算平台1 检索端更新数据流 主要需求: 真正的在线需求 :在线调整与升级,稳定 灵活的拓扑变化:新增用户数据业务流,支持各种策略实验 数据流频繁调整:分流,备份

实时计算平台2 离线/在线云视频转码需求 主要需求: 上线规模:worker并发数k级别 业务收益:提升时效性,利用空闲资源 视频分段并行转码; 潜在资源需求量大,短期无预算 上线规模:worker并发数k级别 业务收益:提升时效性,利用空闲资源

实时计算平台2 业务日志后端计算 主要需求: 业务收益:提升报表时效性(5hour+ -> 30min-) 分析前端Server日志,计算统计报表,精确 计算步骤较多:流式join,filter,aggregation,入库 业务收益:提升报表时效性(5hour+ -> 30min-)

大纲 我们现在的计算平台 我们平台上的业务 我们将来要做的工作

现在/将来的工作 业务推广 统一资源层 提升易用性

谢谢!