实时计算平台及相关业务实践 Baidu.inf.dc ChaiHua <#>.

Presentation on theme: "实时计算平台及相关业务实践 Baidu.inf.dc ChaiHua <#>."— Presentation transcript:

1 实时计算平台及相关业务实践 Baidu.inf.dc ChaiHua <#>

2 大纲 我们现在的计算平台 我们平台上的业务 我们将来要做的工作

3 大纲 我们现在的计算平台 我们平台上的业务 我们将来要做的工作

4 实时计算平台1 支持毫秒级别至秒级别的计算延迟需求 高可靠性，高可伸缩性，高可扩展性 支持DAG描述的流式作业
Per-Record的计算模式与底层架构 Streaming模式支持多语言扩展

5 实时计算平台1 机群规模：500+ -> 1000 机群QPS：10M -- 100M qps 延迟保证：99.9% 50ms-
在线系统 统一平台服务众多（20+）业务方

6 实时计算平台2 支持十秒级别至分钟级别的计算延迟需求 高可靠性，高可扩展性 支持DAG描述的流式作业/Queue-Worker模型作业
具备Transaction属性，保证计算数据的不重不丢 基于增量/小批量的计算模式与底层架构 Streaming模式支持多语言扩展

7 实时计算平台2 机群规模：500+ -> 1000 支持千级worker并发，百级业务流并发 多级Master架构设计
控制流与数据流分离 统一资源层

8 大纲 我们现在的计算平台 我们平台上的业务 我们将来要做的工作

9 实时计算平台1 广告计算平台 主要需求： 真正的实时需求 ：百毫秒级别的延迟指标 灵活的拓扑变化：新增用户数据业务流，支持各种策略实验
高稳定性：跨机房故障时，优雅的服务降级

10 实时计算平台1 检索端更新数据流 主要需求： 真正的在线需求 ：在线调整与升级，稳定 灵活的拓扑变化：新增用户数据业务流，支持各种策略实验
数据流频繁调整：分流，备份

11 实时计算平台2 离线/在线云视频转码需求 主要需求： 上线规模：worker并发数k级别 业务收益：提升时效性，利用空闲资源
视频分段并行转码； 潜在资源需求量大，短期无预算 上线规模：worker并发数k级别 业务收益：提升时效性，利用空闲资源

12 实时计算平台2 业务日志后端计算 主要需求： 业务收益：提升报表时效性（5hour+ -> 30min-）
分析前端Server日志，计算统计报表，精确 计算步骤较多：流式join，filter，aggregation，入库 业务收益：提升报表时效性（5hour+ -> 30min-）

13 大纲 我们现在的计算平台 我们平台上的业务 我们将来要做的工作

14 现在/将来的工作 业务推广 统一资源层 提升易用性

15 谢谢！