下一代 IT基础架构 Cisco Unified Computing System 杨磊 steveya@cisco.com 顾问工程师 思科系统(中国)网络技术有限公司 1

目录 目前数据中心面临的问题 思科统一计算系统介绍 思科统一计算的典型应用 总结

数据中心的压力在不断增长 不断增长的业务需求 运维的局限性 频繁的变动 高性能 即时信息处理 全局可用性 服从业务需要 能源与冷却 部署 利用率 安全 业务连续性 3

IT架构管理复杂性的现状 变更管理 资产及配置管理 处理能力管理 日常和突发事件的管理 虚拟化会使得事情变得更糟 应用 - 手工方式以及各种独立的管理工具 = 变更的高失败率 资产及配置管理 - 人工资产管理方式, 依靠excel表格及个人处理方式 = 过时及不完整的配置信息 处理能力管理 - 对需求的变化没有或只有很少的预估 = 处理能力不足的系统导致业务相应缓慢或过量采购 日常和突发事件的管理 - 不同的技术和产品采用了分裂的管理工具 = 需要更长的恢复时间，更多的人员开销 存储 硬件和操作系统 网络 虚拟化会使得事情变得更糟

目录 目前数据中心面临的问题 思科统一计算系统介绍 思科统一计算的典型应用 总结

Unified Computing System 思科数据中心创新路线图 2008 2009 Nexus 7000 Unified Fabric/DCB Nexus 1000v VN-Link Unified Computing System Q1 Q2 Q3 Q4 Nexus 7000 (DCE) -- the flagship data center-class switching platform combining Ethernet, IP, and storage capabilities across one unified network fabric Nexus 5000 (Unified Fabric) -- delivers line-rate, low-latency, 10 Gigabit Ethernet switching, as well as the industry’s first standards-based, input/output (I/O) consolidation solution via support for Fibre Channel over Ethernet (FCoE), Data Center Ethernet and virtualization technologies. Nexus 1000v (VN-Link) – a distributed virtual software switch that simplifies the operations of both physical and virtual networking infrastructures to help server, virtualization and networking administration managers accelerate data center virtualization. the new Cisco Virtual Network Link (VN-Link) technology on the Nexus 1000V will integrate with VMware’s vNetwork Distributed Switch framework to create a logical network infrastructure that will provide full visibility, control and consistency of the network. The solution will help network, virtualization and server teams to gain efficiency in virtual environments and obtain accurate, real-time data for stronger collaboration in troubleshooting. Nexus 2000 (Fabric Extender) – A “remote line card” that helps IT managers cope with two key data center factors: increasing numbers of servers and increased demand for bandwidth from each server. Cisco Nexus 2148T Fabric Extenders connected to dual Cisco Nexus 5020 Switches can support up to 2,496 Gigabit Ethernet servers, greatly improving scalability of the access layer without increasing management points within the network. Combining Cisco Nexus 2000 switches and Cisco Nexus 5000 Series Switches provides a highly cost-effective access-layer strategy for Gigabit Ethernet and mixed Gigabit and 10 Gigabit Ethernet server environments. Unified Computing System -- Turnkey solution that is pre-built, tested, and serviced as an integrated product for the virtualized Data Center Nexus 5000 Unified Fabric Nexus 2000 Fabric Extender Cisco Inc., Company Confidential - NDA Required 6 6

Broad Market Traction Cisco UCS 发布120天后… 广泛的合作合作伙伴 University of Arizona

统一计算系统UCS能做什么 整合的数据中心基础架构 统一的管理模型 优化的数据中心虚拟化 节省投资 快速部署 提高利用率 整合的数据中心基础架构 更少的交换机、服务器、网卡、管理模块 更低的 Capex&Opex 更少的协同管理的对象 绿色！ 统一的管理模型 服务器、网络和存储在一个域中统一访问 减少了新业务的部署时间 优化的数据中心虚拟化 提高了虚拟化的控制、安全、与诊断方法 内存扩展与I/O的创新，使每台服务器可以虚拟出更多的机器 Fewer switches, servers, adapters, and management modules Lower Cap ex and Op ex costs Fewer objects to coordinate and manage Single domain for server, network and storage access Reduced time to new service deployment Comprehensive API for tight integration to 3rd party management Increased control, security and diagnostics of VM More VMs per server due to memory and I/O innovations Native I/O latency and bandwidth to VMs 8

Cisco统一计算系统大大简化了线缆，并强化了管理 传统机架 传统刀片 思科统一计算系统

统一计算系统 Unified Computing System 整合数据中心基础架构 Fewer switches, servers, adapters, and management modules Lower Cap ex and Op ex costs Fewer objects to coordinate and manage 统一管理模型 Single domain for server, network and storage access Reduced time to new service deployment Comprehensive API for tight integration to 3rd party management 优化数据中心虚拟化 Increased control, security and diagnostics of VM More VMs per server due to memory and I/O innovations Native I/O latency and bandwidth to VMs

UCS解决方案 内嵌式管理系统 采用统一交换网络 提升服务器虚拟化特性 去除不必要的 交换机, 网卡, 管理模块 Mgmt Server Mgmt Server Mgmt Server 内嵌式管理系统 采用统一交换网络 提升服务器虚拟化特性 去除不必要的 交换机, 网卡, 管理模块 减少1/3-1/2的支撑设施完成相同的工作 12

UCS: 定位于高度可扩展的体系架构 单一，高可扩展的集成系统 网络+服务器虚拟化 动态资源部署 LAN SAN A 管理 SAN B NEC IDC data 13 13

数据中心的网络架构发展 虚拟系统总线 多套物理网络 当前架构: ‘多套网络系统’ 未来发展:统一交换系统架构 Unified Fabric 根据需要分配资源和弹性扩展能力 计算虚拟化 存储虚拟化 网络虚拟化 统一I/O,简化部署,实现数据中心网络融合: IP,SAN,HPC 支持并面向SOA技术和ESB技术发展 在企业数据中心内，通常会部署一个以太网来支持IP流量，部署一或两个存储域网络(SAN)来支持块模式光纤通道流量，并部署一个InfiniBand网络来支持高性能集群计算 多套网络系统资源独立部署，低使用率 多套网络系统也制约了应用间的协调支持能力和虚拟化资源分配 存储库 管理服务 存储网络 管理网络 计算服务器 网络资源 前端网络 Unified Fabric HPC网络 网络服务资源 Unified Fabric 存储库 备份网络 前端系统 计算服务器 管理服务 前端系统 多套物理网络 虚拟系统总线 14

统一计算系统 Unified Computing System 整合数据中心体系架构 Fewer switches, servers, adapters, and management modules Lower Cap ex and Op ex costs Fewer objects to coordinate and manage 统一管理模型 Single domain for server, network and storage access Reduced time to new service deployment Comprehensive API for tight integration to 3rd party management 优化数据中心虚拟化 Increased control, security and diagnostics of VM More VMs per server due to memory and I/O innovations Native I/O latency and bandwidth to VMs

统一计算系统管理者 内嵌式设备管理者对比多个单点管理工具 现今管理系统架构 UCS Manager架构 Servers Network Storage Access Embedded S/W Device Management A1 Bare-Metal Provisioning Patching Software Distribution Scripts Chassis Config Auditing Inventory Address Mgmt B1 Disjointed Management Cisco Unified Computing System is controlled by a management system, called Cisco UCS Manager v 1.0.1, which is embedded on the fabric interconnect in the system itself. This software communicates with Cisco UCS Manager applets that are embedded into the adapters, fabric extenders, and blade servers. This allows Cisco UCS Manager to automatically discover all the physical assets and attributes of the system. The “California System” leverages the California Manager command and control capabilities embedded in the Nuova processors to bring together various IT disciplines under a common framework That framework is exposed using a graphical interface that provides a higher level of abstraction for managing each component of the system. IT organizations have the option of defining roles for different IT specialists or manage the system holistically. This approach creates the opportunity to manage change in the data center dynamically while also providing a central console to track changes that can be easily audited. This approach can also be used to restrict access to components of the overall system. Most importantly, it creates the foundation for a more modern approach to data center management based on a unified fabric. 多个管理工具 缺乏关联/复杂 控制平台的紧密集成 16 16

UCS“单一”系统，“云”的基础 Uplinks 17 17

无状态计算---将所有唯一标识符抽象化 思科UCSM统一管理平台 MAC WWN UCS DB 可用的 WWNs 可用的 MACS 模板 安全策略 建立的准则 UCS DB 10:00:A0:98:00:00 10:00:A0:98:00:03 WWN UCS 硬件模板 思科UCSM统一管理平台 01:23:45:67:89:a1 01:23:45:67:89:a1

UCSM确保MAC, WWN, UUID, 等参数的全 局唯一性 UCSM创建和管理MAC 和 WWN的资源池. 无状态计算---将所有唯一标识符抽象化 创建新模板 创建新服务器“特性” UCSM将资源与可用硬件相关联. UCSM确保MAC, WWN, UUID, 等参数的全 局唯一性 UCSM创建和管理MAC 和 WWN的资源池. UCSM创建服务器硬件的模板 UCS Hardware Template 思科UCSM统一管理平台 UCS Hardware Template UCS Hardware Template UCS Hardware Template UCS Hardware Template UCS DB 10:00:A0:98:00:03 01:23:45:67:89:a1

无状态计算---将所有唯一标识符抽象化 Uplinks 因为有了无状态计算，我们可以做到其他人绝对做不到的功能，如组织架构和动态资源调动， 20 20

California Array Manager 集中化的管理 单个设备管理域 网卡, 刀片, 机箱, LAN & SAN连接 内嵌管理器 GUI & CLI 标准的APIs用于系统管理 XML, SMASH-CLP, WSMAN, IPMI, SNMP SDK for commercial & custom implementations 设计成可用于多租户 RBAC, organizations, pools & policies View 1 View 2 Custom Portal GUI Systems Management Software CLI XML API Standard APIs California Array Manager

无缝的管理系统集成 灵活的资源池，开放的管理接口 SMASH CLP WS-MAN IPMI Cisco CLI ... XML API Industry Standard API Fabric Manager 22 22

统一计算系统 Unified Computing System 整合数据中心体系构架 Fewer switches, servers, adapters, and management modules Lower Cap ex and Op ex costs Fewer objects to coordinate and manage 统一管理模型 Single domain for server, network and storage access Reduced time to new service deployment Comprehensive API for tight integration to 3rd party management 优化数据中心虚拟化 Increased control, security and diagnostics of VM More VMs per server due to memory and I/O innovations Native I/O latency and bandwidth to VMs

可选的板卡 成本 兼容性 虚拟化 “Free” SAN Access for any Ethernet equipped host Software FCoE 成本 兼容性 虚拟化 Existing Driver Stacks VM I/O Virtualization and Consolidation 10GbE/FCoE vNICs and vHBAs Eth FC 1 2 3 127 PCIe Bus 10GbE/FCoE FC 10GbE PCIe Bus 24

VN-Link 提升虚拟颗粒度 Problems: VMotion VMotion may move VMs across physical ports—policy must follow vSwitch vSwitch Impossible to view or apply policy to locally switched traffic vSwitch Cannot correlate traffic on physical links—from multiple VMs Illustrate problem Make the server switch part of the boundary Server: transparent/cosistent Network: unchanged Network on the bottom Re-use blurry/sharp imagery VLAN 101 VN-Link: Extends network to the VM Consistent services Coordinated, coherent management 25

UCS海量内存扩展技术 Cisco 内存扩展技术 Capacity Speed Logical DIMM Physical DIMM Power Cisco 内存扩展技术 The Cisco UCS B250 M1 2-Socket Extended-Memory Blade Server is a full-slot, two-socket blade server featuring Cisco Extended Memory Technology. The system supports two Intel Nehalem processors, up to 384 GB of DDR3 memory, two optional small-form-factor SAS disk drives, and two CNA mezzanine slots for up to 40 Gbps of I/O throughput. Cisco UCS B250 M1 2-Socket Extended-Memory Blade Server maximizes performance and capacity for demanding virtualization and large dataset workloads with greater memory capacity and throughput. Capacity Speed Logical DIMM Physical DIMM Physical DIMM 32x 4GB & 16x 2GB 48x 2GB 144GB 800Mhz 18x 8GB 96GB 1066Mhz 12x 8GB 48x 4GB 48x 8GB *Non-Existent DIMM 192GB 1066Mhz 12x 16GB* 384GB 12x 32GB*

提高服务器虚拟化的效率和可扩展性 单台服务器支持更多的虚拟机VM = Cisco Value Add Memory VM VM VM VM Lower power per VM Lower cooling per VM Lower cost per VM Cisco Value Add Memory Expansion Memory VM VM VM VM Cisco Value Add Hypervisor Bypass VM VM VM The key thing to remember here is that by setting up and manage virtual connections, the Unified Computing System helps solve the most vexing virtualization performance issues. The end result is price/performance ratio for supporting virtual machines that is unrivalled in the industry The Unified Computing Systems scale the number of network connections that any given set of processors or applications can interface with The Cisco approach to virtualization also expands the utilization rate of each processor in the system In effect, the Unified Computing System extends the concept of virtualization out to create pools of shared memory, storage and compute engine resources. VM VM CPU VM Cisco Value VN-Link: NIV 10Gb Unified Fabric: DCE/FCoE I/O

目录 目前数据中心面临的问题 思科统一计算系统介绍 思科统一计算的典型应用 总结

UCS系统的物理组件 UCS 管理者 Embedded in Fabric Interconnect UCS多机箱Fabric互联交换机 20 Port 10Gb FCoE 40 Port 10Gb FCoE UCS机箱Fabric扩展器 Logically part of Fabric Interconnect Inserts into Blade Enclosure UCS 刀片服务器机箱 Flexible bay configurations Logically part of Fabric Interconnect UCS 刀片服务器 Different blade types Mix blade types within enclosure UCS 虚拟网络适配卡 Three adapter options Mix adapters within blade The “Unified Computing System” is based on a standard set of components that most IT staff are very familiar with. The intelligence for managing the overall system is based on a Nuova-class processor that Cisco has embedded in the fabric interconnect The California Manager software that manages the entire system communicates with firmware embedded in every device in the system. It is important to note that there are three adapters – optimised for price (IP access to storage), compatability (Emulex & Qlogic CAN) and virtualised infrastructure. 29 29

统一计算系统的物理组件 Simplified Infrastructure 3.2 ms Lat 2 PS 2 Fans 1.2 Tbps 20 – 56 10GbE Ports, 2 Fabric Extenders 8 Fans 4 Power Connectors 8 Blades 4 Power Supplies 6U, 19” Rack 30

统一计算系统的刀片服务器 B200 M1 Blade Server Half Width Blade 2 x Intel Nehalem-EP processors X5570 2.93 GHz, 8MB, 6.4 GT/s, HT, Turbo, 95W E5540 2.53 GHz, 8MB, 5.86 GT/s, HT, Turbo, 80W E5520 2.26 GHz, 8MB, 5.86 GT/s, HT, Turbo, 80W L5520 2.40 GHz, 8MB, 5.86 GT/s, HT, Turbo, 60W 12x DIMMs Slots (96GB max) Supports: 1066 MHz 2GB, 4GB, 8GB 1333 MHz 2GB, 4GB 1x Dual Port Adapter (Upto 20GB throughput) 2 x SAS HDD (RAID 0/1) Blade and HDD hot plug support 10Gb CNA and 10GbE adapter options OS Support: Win2008, Win2003 R2, RHEL 5.3, RHEL 4.8, SUSE Linux Enterprise Server 11, VMware vSphere 4, ESX 3.5 Update 4 统一计算系统的刀片服务器 B200 M1 Blade Server

统一计算系统的刀片服务器 B250 M1 Blade Server Full Width Blade 2 x Intel Nehalem-EP processors expected: X5570 2.93 GHz, 8MB, 6.4 GT/s, HT, Turbo, 95W E5540 2.53 GHz, 8MB, 5.86 GT/s, HT, Turbo, 80W E5520 2.26 GHz, 8MB, 5.86 GT/s, HT, Turbo, 80W L5520 2.40 GHz, 8MB, 5.86 GT/s, HT, Turbo, 60W 48x DIMMs Slots (384GB max) Supports: 1066 MHz 2GB, 4GB, 8GB 2x Dual Port Adapter (Upto 40GB throughput) 2 x SAS HDD (RAID 0/1) Blade and HDD hot plug support 10Gb CNA and 10GbE adapter options OS Support: Win2008, Win2003 R2, RHEL 5.3, RHEL 4.8, SUSE Linux Enterprise Server 11, VMware vSphere 4, ESX 3.5 Update 4 统一计算系统的刀片服务器 B250 M1 Blade Server Expected Q4CY09

Cisco的Rack Server 产品介绍 创新的使用标准DIMM的内存扩展技术 4个集成千兆网卡 2个独立管理端口 8个热插拔硬盘 前端访问的冗余热插拔风扇 UCS C250 M1 16个2.5寸热插拔硬盘槽位 支持2块LSI mega RAID卡，提供极高的I/O性能 2个集成千兆网卡 1个独立管理端口 UCS C210 M1 标准1U服务器产品 2个集成千兆网卡 1个独立管理端口 UCS C200 M1

UCS适用的OTT应用场景 Oracle RAC并行数据库 虚拟化应用 高性能计算 搜索引擎 近线存储 传统的X86平台只能连接2个节点，UCS可以在8个节点组成的RAC 系统中性能卓越，压力测试下任何部件都没有出现饱和。适用于数据库应用。 Oracle RAC并行数据库 有了Palo卡，每个虚拟机都有自己的物理网卡和HBA卡，不再需要软交换机，大大提高性能。大内存可以支持更多的虚拟机。统一管理系统可以看到所有刀片，所以跨机箱迁徙虚拟机轻而易举。 适用于云计算节点，BI计算节点 虚拟化应用 全万兆架构使HPC有了性能上的保证。有了统一管理，所有刀片在同一管理架构下，在哪个机箱实际上已不再重要，能够灵活加入或退出某一高性能计算集群 高性能计算 搜索引擎 大内存技术使得更多的索引能放入内存，加快搜索速度。适用于搜索应用。 16块硬盘，2块RAID卡，硬盘和RAID都支持最快的6G标准，大大提高速度，配合软件，就是一台很不错的近线存储或NAS。 适用于 CDN 缓存服务器，文件系统，WEB服务器 近线存储

思科统一计算系统解决方案的典型应用 得益于6120XP的全线速，不丢包，低延时的万兆端口，Cisco UCS实现了8节点的Oracle RAC，且这套配置得到了Oracle的认证 Oracle RAC可以实现在多台服务器上运行一个数据库实例，实现了很多用户提出的“将多个服务器当成一个用”的需求，可以用相对较低的代价获得性能的增加。然而，很多用户却发现： 2节点的Oracle RAC可以较好的工作，扩展到4节点性能反而下降 采取多种措施也无济于事，有用户在每台服务器上加了6张网卡，每2张网卡做teaming，试图将流量分离来提高性能，结果发现几乎没有作用 这是因为： Oracle RAC的机制要求一台服务器去访问另一台服务器的内存，在2台服务器时只要相互访问即可，三台时就是一个三角形，4台的全连接就复杂了，更不要说4台以上了。 加大带宽并不解决实际问题，或者说，采用多网卡的方式不能解决问题，还有一个主要原因就是延时

请注意我们未对系统进行任何调试 思科统一计算系统解决方案的典型应用 此图显示了在24 小时的测试期间，在8 小时过程中运行1500 名用户的订单录入工作负载。 测试结果： 高度一致的CPU 使用率：所有8 个节点的使用率均为40%左右。 任意子系统（CPU、磁盘、I/O 或网络）均未达到饱和。 持续的FCoE I/O，介于每秒1.8 到2.0 GB 之间。进一步而言，光纤通道I/O 为每秒1.4 GB，互联通信为每秒约450 MB。 未出现I/O 瓶颈或等待时间。 出色的存储I/O 服务时间 请注意我们未对系统进行任何调试

总结 Cisco的创新使UCS能成为下一代数据中心的基础架构，其独特的理念包括： 大大简化的结构，使得数据中心的布线，功耗和冷却的效率得以大幅提高 首次提出“无状态的计算”，使得计算资源的灵活调度得以实现 全线速、不丢包、低延时的统一交换平台能实现或优化很多应用，如大规模的Oracle RAC、高性能计算以及搜索引擎等 为实施“云计算”奠定了坚实的基础

IT在发展，我们在努力！ 谢谢!