至简智动 · IT随心 —BMC Control-M实现IT运行简约化、智能化、自动化

Presentation on theme: "至简智动 · IT随心 —BMC Control-M实现IT运行简约化、智能化、自动化"— Presentation transcript:

1 至简智动 · IT随心 —BMC Control-M实现IT运行简约化、智能化、自动化
李二超 CONTROL-M高级技术顾问 BMC Software（中国）有限公司 1

2 目录 BMC Control-M驱动IT运行自动化 BMC Control-M在数据处理领域的应用

3 IT运行中作业调度的普遍现状 目前的系统不能满足当前或预期的需要 需要将批处理流程和业务服务以及SLAs关联 新的/增加的平台
浪费时间 占用资源 增加错误 潜藏风险 人工提交必然造成延迟，浪费时间 过多的占用宝贵的人力资源 人工管理导致的错误多发将增加故障时间，造成业务损失 系统之间形成信息孤岛，彼此之间依赖关系无法有效建立，缺乏统一的监控视角并造成业务僵化 单个应用系统纵向信息无法共享，无法有效避免系统上线的风险和时间浪费 缺乏专业自动化调度工具 依靠人工提交和管理 使用操作系统或套装应用软件自带的调度模块 目前的系统不能满足当前或预期的需要 没有企业整体视图，多操作系统，扩展性，集成等等问题 需要将批处理流程和业务服务以及SLAs关联 要求整合批处理和上层的业务目标、流程以及服务 BSM或ITIL方面的考虑 新的/增加的平台 有可能超出现有产品授权许可或能力 有可能造成或恶化资源请求以及复杂程度 更多的作业被加入作业调度环境 许多情况下会造成扩展性问题，以及潜在的“批处理时间窗口”问题 更多的应用被加入调度环境 文件传输(FTP)请求会造成风险 ERPs (SAP, PeopleSoft, Oracle E-Business Suite, etc.) 需要完善的，集成的作业调度 新技术(Web Services, Java, Messaging)必须集成到整体调度环境中 当前存在多个调度产品 多个调度工具不易相互沟通，并造成作业自动化孤岛 要求学习多种技巧 应用系统自行开发简单的调度程序

4 建设一个企业级集中作业调度管理平台，有效的整合、规范并自动化管理企业业务服务，并以业务价值为核心，将批量作业管理提升到战略的高度
解决之道 建设一个企业级集中作业调度管理平台，有效的整合、规范并自动化管理企业业务服务，并以业务价值为核心，将批量作业管理提升到战略的高度 节约时间 节省资源 减少错误 降低风险

5 Control-M实现IT运行的简约化、智能化、自动化
确定作业对业务服务的影响 智能化 自动化 规范化 简约化 管理员、调度员、操作员、应用人员 单点控制 统一调度 超越监控 智能管理 BMC Control-M 作业调度自动化系统 作业生命 周期管理 [need to update notes] Slide Objective: Introduce the service lifecycle as the model for Business Service Management Key Points: -- Why is a platform so critical? Because platform support services, and each step in a services lifecycle should providing consumed information from other steps in the lifecycle -- because the output of one IT process should become the input of the next, business service management focuses on automating this management of services across their lifecycle -- we see four critical phases for business services: request and support, provision and configure, monitor and operate, and plan and govern. -- binding these phases in the lifecycle is the ability to integrate and orchestrate information and processes across the lifecycle Sample Presentation. Plan & Govern Manage your service portfolio and budget Ensure compliance with policies and regulations [Most complete IT business management suite to give you enterprise-wide visibility across your resources and the cost of service delivery – Financial resource management, project and portfolio management, vendor management, human capital management, governance and compliance management]; cross-platform capacity management for both physical and virtual resources] Integrate & Orchestrate Discover, model, visualize, and assign priority to business services Seamlessly integrate data and processes to improve decision-making [Proven CMDB, with multi-tenancy support; in use by most of the world’s leading service providers, even HP EDS!; Process orchestration (run book automation) that adapts to changing infrastructure and includes pre-built workflows] Transition: Now that’s quite a lot to expect from a single IT management vendor, but let me assure you this is something we’ve been focused on for a long time now (2002) and we have many references to illustrate that this is a proven approach, but before I get to that, let me show you some examples of how IT operates differently with BSM… 关联业务 服务管理 物理 虚拟 私有云 应用系统及基础架构 数据工厂 数据仓库 5

6 BMC Control-M引领作业负荷自动化潮流
年收入近3亿美元 (超过全公司业务收入的10％) 超过2700家用户，遍布全球 拥有业界最佳的客户支持评定和分析机构认可 超过300人的专职研发支持团队，年收入的20％用于产品研发 近30年不断创新的历史 良好的产品更新记录，持续的版本升级 最佳的迁移方法论

7 BMC Control-M－理想的作业调度自动化方案
跨平台、跨应用事件驱动 易扩展，高可靠体系架构 集中调度监控 灵活的权限设定 单点控制 统一调度 定义、更新、版本、备份 提交、等待、运行、返回、分析 丰富的报告审计功能 作业生命 周期管理 强大的排程功能 完善的意外管理及告警 动态调度及分析 工作负荷虚拟化 超越监控 智能管理 关联业务 服务管理 Ideal WLA Solution A single way to schedule, a single point of control Consistent across all managed platforms Seamless Application Integration Intelligent Management, not just monitoring Management by Exception Bi-directional integration with other tools and solutions Dynamic scheduling and analysis Workload Virtualization BSM-enabled Batch Workload Management Manage services, not just jobs Business-oriented priorities Workload Lifecycle Management Version management for job definitions Multiple environment management Auditing and Reporting 提供基于业务的监控视角 业务服务对应批量作业 基于业务的优先等级管理 影响分析能力

8 BMC Control-M 作业自动化调度“办公室”
Archive Active Active Active Forecast Active Input Infrastructure The BMC Control-M “office”

9 Control-M 体系架构 – 灵活性、扩展性
EM GUI Desktop Control-M 企业管理平台 Control-M 调度服务器 Control-M 调度服务器DS,Z/OS Control-M 代理 无代理 远端主机 应用控制模块

10 Control-M 体系架构–应用控制模块
云计算 支持 文件传输及监测 ERP 应用 数据库应用 实时应用 Web Services Messaging Java

11 BMC Control-M广泛的平台及应用支持
系统平台 ERP应用 其它应用 Unix Windows Linux VM Servers z/Linux z/OS iSeries Tandem VMS UNISYS 2200 and more… SAP Oracle PeopleSoft Business Objects Informatica IBM Cognos Cloud VM Blade Logic Amazon FTP/SFTP Databases WebServices Message Queues J2EE SOA CLI and more…

12 完善的报表及审计功能 强大的图形用户界面 个性化报表 以作业方式定时生成报表 以PDF, Word以及Excel形式导出 动态数据输入
内置报表模板 Intuitive and powerful interface Extensive customization options Batch reporting utilities Export to PDF, Word, Excel Dynamic data feeds Built-in Reports repository

13 CONTROL - M用户遍布全球

14 目录 BMC Control-M驱动IT运行自动化 BMC Control-M在数据处理领域的应用

15 一般数据处理过程 数据处理过程 应用系统 集成层 数据仓库 数据集市

16 数据处理应用的主要厂商 ETL 工具： 数据库: BI 展现: IBM -DataStage
Informatica -Powercenter NCR Teradata – ETL Automation 开源 ETL工具或自主开发 数据库: NCR Teradata Oracle IBM DB2 BI 展现: SAP BO IBM Cognos

17 Control-M驱动数据处理应用 数据处理过程 应用系统 集成层 数据仓库 数据集市

18 Control-M调度管控的地位和作用 1、有序、合理“驱动”数据加工功能与数据交换功能，是整个系统的调度引擎；
2、实时监控数据加工、数据交换生产环节的运行情况； 3、提供人为干预的手段，应对系统运行的异常或特殊场景； 4、提供统一、便捷的管理界面，支撑系统良好运作。 数据加工 调度管控

19 Control-M调度管控的具体功能 调度 可以调度相互依赖的一组作业在一组服务器上执行
竞争环境 监管环境 变 化 跨服务器、平台调度 逻辑资源、优先级管理 复杂业务场景处理 强大管理能力 调度 可以调度相互依赖的一组作业在一组服务器上执行 跨UNIX服务器和Windows服务器等多种平台的作业调度的能力 允许从集中的控制台上控制，监视，管理批处理作业 作业调度预测 业务影响分析 通过资源与优先级管理实现一组作业在多台服务器之间的负载均衡 复杂依赖关系的定义 上万个作业数量的支持能力 多种作业触发方式

20 作业触发方式 所依赖的特定文件准备就绪（利用ctmfw utility）： 日历、时间频度触发 所依赖的前项作业完成 人工触发 文件监测
通过扫描本地或者远程数据文件，触发文件相关的作业调度运行,当作业所需的数据文件全部到达，作业调度运行 a.sh -in1 aa.dat -in2 bb.flg 存储 文件监测 作业流 aa.dat Job5 Job1 bb.flg Job3 Job4 Job7 cc.dat Job6 Job2 日历、时间频度触发 所依赖的前项作业完成 人工触发 20

21 业务日期切换的实现作业流独立循环 每个作业流都有独立的业务日期 业务应用程序完成日期跨度加1 作业流的日期频度由Control-M控制
JOBFLOW A T+1 JOBFLOW B T+1 JOBFLOW N T+1 Control-M使用交流 21

22 调度系统作业流设计

23 干预操作 调度干预 的手段 作业强制终止 临时作业流执行 作业强制成功 作业（作业流）重做 作业流清除 作业优先级临时调整 作业流重新初始化
作业（作业流）暂停 作业禁用/启用 作业流清除 作业流重新初始化

24 Control-M价值 Control-M的价值 功能 覆盖度 非功能满足度 附加价值 实现跨服务器的统一作业调度 实现对复杂业务场景的支持
通过资源管理实现作业运行的负载均衡 功能 覆盖度 Control-M的价值 非功能满足度 附加价值 为其他系统使用Control-M积累技术基础和实施经验 运维自动化程度提高 为实现集中作业调度提供了试点 大大节省了系统的开发工作量 大批量作业的调度性能稳定 系统整体稳定性得到保障 系统扩展性强

25 国内银行作业调度自动化应用场景 数据工厂 数据仓库 应用系统 Control-M 生产作业调度系统 Control-M 数据交换作业调度系统
管理员 调度员 操作员 应用人员 管理员 调度员 操作员 应用人员 Control-M 生产作业调度系统 Control-M 数据交换作业调度系统 译码 拆分 合并 360000个作业 信贷管理系统CMIS 贷记卡系统 国际结算系统IBP 银行卡系统ICS 客户信息系统CIIS 集成财务系统IFSS 个贷系统 基金系统 3000个作业 核心银行系统（主机） 9000个作业 9000个作业 应用系统 数据工厂 数据仓库 25

26 BMC Control-M: 数据处理的核心管控模块
建设银行 ODS 项目 ETL工具: DataStage 作业管控: Control-M 作业数量: 每天10万个 工商银行 UDS 项目 ETL:自定义脚本 作业管控: Control-M 作业数量: 每天36万个 兴业银行EDIP项目 ETL工具: Informatica 作业管控: Control-M 作业数量:每天6千个 BMC Control-M: 数据处理的核心管控模块

27 可度量的收益 实现作业调度管理的集中化和可视性 节约人力资源，调动积极性、解放生产力 自动化提高了效率，减少出错的概率
节约时间 事件型自动触发方式避免了系统衔接时间的浪费，减少了整体作业运行时间 批处理影响及自动错误处理机制关注关键应用，减少了故障修复时间。 提供了统一的规范和标准 采用统一的标准改造了原有应用，规范了新应用开发，使开发人员专注于核心处理程序。 开发阶段即采用标准作业调度机制，减少了开发到生产的迁移时间和风险。 自动化提高了效率，减少出错的概率 节约作业运行时间，满足审计和报告需求 提供了统一的规范和标准

28 联系方式： 销售经理：钟灏 Hao_Zhong@bmc.com 13901087732 技术顾问：李二超 Erchao_li@bmc.com
谢谢！ 联系方式： 销售经理：钟灏 技术顾问：李二超