实时计算平台及相关业务实践 Baidu.inf.dc ChaiHua <#>
大纲 我们现在的计算平台 我们平台上的业务 我们将来要做的工作
大纲 我们现在的计算平台 我们平台上的业务 我们将来要做的工作
实时计算平台1 支持毫秒级别至秒级别的计算延迟需求 高可靠性,高可伸缩性,高可扩展性 支持DAG描述的流式作业 Per-Record的计算模式与底层架构 Streaming模式支持多语言扩展
实时计算平台1 机群规模:500+ -> 1000 机群QPS:10M -- 100M qps 延迟保证:99.9% 50ms- 在线系统 统一平台服务众多(20+)业务方
实时计算平台2 支持十秒级别至分钟级别的计算延迟需求 高可靠性,高可扩展性 支持DAG描述的流式作业/Queue-Worker模型作业 具备Transaction属性,保证计算数据的不重不丢 基于增量/小批量的计算模式与底层架构 Streaming模式支持多语言扩展
实时计算平台2 机群规模:500+ -> 1000 支持千级worker并发,百级业务流并发 多级Master架构设计 控制流与数据流分离 统一资源层
大纲 我们现在的计算平台 我们平台上的业务 我们将来要做的工作
实时计算平台1 广告计算平台 主要需求: 真正的实时需求 :百毫秒级别的延迟指标 灵活的拓扑变化:新增用户数据业务流,支持各种策略实验 高稳定性:跨机房故障时,优雅的服务降级
实时计算平台1 检索端更新数据流 主要需求: 真正的在线需求 :在线调整与升级,稳定 灵活的拓扑变化:新增用户数据业务流,支持各种策略实验 数据流频繁调整:分流,备份
实时计算平台2 离线/在线云视频转码需求 主要需求: 上线规模:worker并发数k级别 业务收益:提升时效性,利用空闲资源 视频分段并行转码; 潜在资源需求量大,短期无预算 上线规模:worker并发数k级别 业务收益:提升时效性,利用空闲资源
实时计算平台2 业务日志后端计算 主要需求: 业务收益:提升报表时效性(5hour+ -> 30min-) 分析前端Server日志,计算统计报表,精确 计算步骤较多:流式join,filter,aggregation,入库 业务收益:提升报表时效性(5hour+ -> 30min-)
大纲 我们现在的计算平台 我们平台上的业务 我们将来要做的工作
现在/将来的工作 业务推广 统一资源层 提升易用性
谢谢!