云数据中心安全 V1.0 李勇卫 思科无边界网络安全部

内容 云数据中心安全战略 云中心安全架构 云中心安全虚拟服务点

云数据中心安全战略

什么是云中心？ IaaS PaaS SaaS  Where? Deployment Models How? Service Models ∞ What? Essential Characteristics (NIST) Measured Services Rapid Elasticity Resource Pooling Self Service  Broad Access How? Service Models VM OS FRAMEWORK APPLICATION IaaS PaaS SaaS 自助服务：可交互操作的服务交互模式和方法，快速灵活按需获取IT资源的模式，IT资源包括CPU/内存/存储/网络/安全。按需服务，使用就通过服务申请，不使用即可通过资助服务收回。 宽带：当我们将物理服务器虚拟化，更多的应用跑在了物理机上，那么数据流交换也更大。新的发展趋势已经是服务器全部万兆网卡。大量的万兆服务器，大量的数据存储，导致网络的交换需求急速增加。因为资源的集中，我们的交换机Nexus7K Fabric 2已经能够提供550G per slot的交换带宽。 资源池：服务提供商的资源被集中在一起形成资源池，通过多租户方式为多个客户提供各种服务，并根据客户的需求动态分配物理的或虚拟化的资源。这些资源包括存储、处 理能力、内存、网络带宽和虚拟机。 快速弹性： 弹性IT资源的需求，用户可以在几分钟内实现自助式的IT资源部署。比如对一些零售商来说，他们的操作需求会随着假日的到来而剧增，或者是有些业务会有季节性的上扬。 可度量的服务 (Measured Service) 通过对各种服务(存储、处理能力、带宽、活动用户帐户)进行适当的抽象而获得的服务计量能力，云计算系统可以自动控制和优化计算资源，从而可以透明地为客户和服务提供商检测、控制、统计这些资源的使用情况。 SaaS: SaaS给我们带来弹性，很短的建设时间，只需要按用户付钱，很少的初期投资，简化维护管理。 在享受这些应用给你带来了好处的同时，额外的挑战也接踵而来，例如：Cloud环境的审计. 安全评估： .IaaS: 虚拟化感知的工具，用于频繁的IaaS平台的审计。 .PaaS: 通常需要支持Web Framework。 .IaaS, PaaS, SaaS platform 合规控制. . 资源集中，弹性扩展，管理自动化（流程化开展和撤销业务）。 Public Private Hybrid Community Where? Deployment Models Virtual Private

CONSISTENCY(一致性): 策略, 功能，安全，管理 数据中心变迁历程： 从物理传统的数据中心到云数据中心 物理WORKLOAD 虚拟化WORKLOAD 云化 WORKLOAD 单服务器单应用 静态 手工配置 单服务器多应用 移动 动态配置 单服务器多租户 弹性 自动扩展 HYPERVISOR VDC-1 VDC-2 CONSISTENCY(一致性): 策略, 功能，安全，管理 Switching Nexus 7K/5K/3K/2K Nexus 1000V, VM-FEX Security ASA 5585, ASA SM VSG*, ASA 1000V** Compute UCS for Bare Metal UCS for Virtualized Workloads * Virtual only, ** Announced

安全架构要求 逻辑隔离Logical separation 策略一致性Policy CONSISTENCY(一致性) 认证和接入控制Authentication and access control 扩展和性能Scalability and performance 自动化管理AUTOMATION(自动化) A cloud security solution needs to meet and support the following architectural requirements. 1) Logical separation. Security controls need to be implemented to secure logical entities, which can include both physical and virtual infrastructure components. 2) Policy CONSISTENCY(一致性). It is critical to have a cloud security policy design that can be enforced consistently in both physical and virtual environments. 3) AUTOMATION(自动化). In a cloud computing environment where resources are shared dynamically, there are two security requirements: Cloud security needs to support an automated environment where resources such as virtual machines (VMs) may move around, and cloud security itself needs to be provisioned through an automated process. 4) Authentication and access control. With the “anytime, anywhere” availability of cloud services, security policies are needed to validate user credentials and authorize their cloud services. 5) Scalability and performance. A cloud computing implementation will need to securely support large workloads and the underlying infrastructure, such as high-density VMs. Firewall and IPS services, for instance, must be able to scale so that they do not become the bottleneck.

云中心安全架构

Infrastructure Security 虚拟化数据中心安全控制框架 Security Management Infrastructure Security Services UCS Virtual Access Storage Access Aggregation Core 基础架构安全保护数据中心控制和数据层面的安全。 防止数据丢失，顺从性，失败保护 流量隔离以及认证授权审计 AD 可视化要求 日志，事件信息，集中认证 取证 异常行为检测 顺从性 网络入侵检测和阻挡 网络监控，分析，取证 CSM ACS 数据中心进出流量过滤 虚拟防火墙，策略分离，应对服务器之间过滤需求 特殊的防火墙服务，保护服务器群 负载均衡，隐藏服务和应用。 数据安全 认证 访问控制 端口安全 QOS 虚拟防火墙 防火墙规则的实时监控 ACLs, Port Security, VN Tag, Netflow, ERSPAN, QoS, CoPP, DHCP snooping

Isolation & Access-Control Model 云中心访问控制及网络隔离 Isolation & Access-Control Model Intra-Tenant Intra-Layer Intra-Server VM Inter-VM Intra APP Inter-Layer Inter-APP Inter-Tenant Intra-Cloud DC Intra-APP 物理平面化 资源大集中 网络 安全 计算 立体化架构 DC … VDC VDC 数据中心的逻辑界限划分 … VRF VRF VRF … VFW VFW VFW … VLAN VLAN VLAN VLAN … VN-Link VN-Link VN-Link VN-Link VN-Link … VM VM VM VM VM VM VM VM 逻辑层次化结构

云中心隔离模型 Nexus 7K Tenant Tenant Tenant Tenant 方式 大企业租户： 核心VDC Nexus 7K G-VRF Global VRF i-VRF Internal VRF 汇聚 VDC 汇聚VDC 汇聚VDC VRF VRF G-VRF G-VRF i-VRF i-VRF i-VRF i-VRF Vlan Vlan Vlan Vlan Vlan Vlan Vlan Vlan VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM 物理机 物理机 物理机 Web APP DB Tenant 大企业租户： 访问通过Layer-3 或Layer-2 VPNs 方式 不同的VPN映射到VRF。 不同的租户利用Global-VRF区分，同一租户的不同部门及不同应用利用Internal-VRF以及VLAN隔离。 利用Global VFR 映射到不同的POD,在根据不同的目的地址可以映射到不同的Internal VRF。 不同的Internal VRF将不同部门不同应用的流量引入不同的虚拟防火墙。 不同的Internal VRF映射到不同的vlan去向不同的服务器。 通过多VLAN实现多级应用灵活Zone部署。 Tenant Tenant Tenant 中小租户 无安全要求租户 大企业租户/私有业务 中小租户: 每个租户一个VLAN/一个VRF。 VLAN映射到VRF。 不进行业务/服务层区分。 独立VDC专供此用户类型接入。 大企业租户/私有业务: 租户利用Global VRF区分。 每个租户多个Internal VRF。 Internal VRF区分不同部门或者应用。 通过多VLAN实现多级应用灵活Zone部署。 独立VDC专供此用户类型接入。

云中心业务保护模式 用户访问 如果受到保护，流量经过防火墙否则直接流向无保护的区域Zone。 业务模型按照应用特点来考虑服务集成： 安全要求应用 – FW Only /FW+IPS– 保护模式 性能要求应用– 高吞吐/时延敏感无- 保护模式 业务模型可以按照任意形式组合服务 全功能服务– 防火墙/负载均衡/应用加速 仅需防火墙 防火墙和 负载均衡服务 无保护，但负载均衡服务务 无保护 无保护 受保护 共享防火墙 可选应用服务- 负载均衡LB, IPS, Edge FW etc 可选应用服务- 负载均衡LB, IPS, Edge FW etc 虚拟防火墙 云数据中心服务其实也是“按需而供”， 直接访问 模式A 模式B 模式C 模式D 模式E

混合云安全架构模型-二层安全结构 Internet POD POD POD 出口 路由器 出口 路由器 边界防火墙 高并发连接 高每秒新建连接 DDOS攻击防护 IPS威胁防御 地址转换 Internet 安全服务池 核心VDC Nexus 7K 核心VDC Nexus7K VPC 安全服务池 共享安全服务池 虚拟防火墙 虚拟VPN接入 虚墙IPS 虚拟负载均衡 虚拟链路加速 虚拟流量分析 虚墙独立管理 虚墙资源划分 软件/硬件方案 VPC 汇聚VDC 汇聚VDC 汇聚 VDC 汇聚 VDC 汇聚VDC 汇聚VDC 二层安全结构： Internet安全服务池-共享安全服务池 Internet安全服务池-POD安全服务池 通过N7K的VDC功能按照用户类型清晰将网络分离。把VDC分成汇聚核心，汇聚VDC分别是 中小租户接入VDC 大企业租户接入VDC 私有业务接入VDC 当然也可以将私有业务和大企业租户合并到同一个VDC，而将无安全要求的租户接入一个VDC。 中小租户 大企业租户/ 私有业务 私有业务/ 无安全要求 POD POD POD 大租户安全服务池

云中心隔离模型-防火墙 Tenant Tenant Tenant Tenant 方式 大企业租户： 核心VDC G-VRF Global VRF i-VRF Internal VRF Share FW 汇聚VDC 汇聚VDC 汇聚 VDC G-VRF G-VRF VRF VRF VFW VFW VFW VFW i-VRF i-VRF i-VRF i-VRF 大企业租户： 访问通过Layer-3 或Layer-2 VPNs 方式 不同的VPN映射到VRF。 不同的租户利用Global-VRF区分，同一租户的不同部门及不同应用利用Internal-VRF以及VLAN隔离。 利用Global VFR 映射到不同的POD,在根据不同的目的地址可以映射到不同的Internal VRF。 不同的Internal VRF将不同部门不同应用的流量引入不同的虚拟防火墙。 不同的Internal VRF映射到不同的vlan去向不同的服务器。 通过多VLAN实现多级应用灵活Zone部署。 Vlan Vlan Vlan Vlan Vlan Vlan Vlan Vlan VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM 物理机 物理机 物理机 Web APP DB Tenant Tenant Tenant Tenant 中小租户 大企业租户 大企业租户/私有业务

… 云中心防火墙的特点 – 多虚一技术 ASA ASA VPC scEC VPC: Virtual PortChannel 需求特点： 7k-2 Core-VDC VPC Agg-VDC 7k-1 scEC 多虚一，动态扩展防火墙处理能力，性能按需扩展。保护投资。 防火墙集群(多虚一)： 高扩展性。 单点管理。 群内所有防火墙全部Active。 有群内负载均衡能力。 群内防火墙失败，全群火墙帮助恢复会话。保证防火墙群内无单点失败/ 防火墙全冗余。 可以和路由交换多虚一结合实现全路径多虚一，无Spanning Tree困扰。 ASA ASA 注意，图上应该还有CCL链路用来连接所有防火墙，主要是管理和处理异步流量。 scEC: span-cluster EC

… 云中心防火墙的特点 –一虚多技术 需求特点： 性 能 容 量 控制 层面 数据 虚墙-2 租户-2 并发连接 10万 新建速率 100K/秒 虚墙-1 性 能 MAC表 在线主机数 容 量 日志 控制 层面 管理员 安全 策略 配置 NAT策略 DPI策略 数据 NAT连接 管理 连接 虚墙-2 租户-2 一虚多，虚拟出多个防火墙，租户逻辑隔离，资源限定防止租户串扰。减少投资。 虚墙-3 租户-3 路由 防火墙虚拟化 … 虚墙独立管理/独立日志 虚墙独立路由层面（地址可重叠） 虚墙独立安全策略/NAT策略/应用层策略。 防火墙资源限定，彻底保护租户不互相串扰。 注意，图上应该还有CCL链路用来连接所有防火墙，主要是管理和处理异步流量。 虚墙-250 租户-250

云中心安全接入 ssL Internet ISR IPSec IPSec C29 N3K 热点 接入方案 公司分部 热点 ISR 接入方案 VPN资源池(VPN集群+VLAN映射) N7N3用户/N7C29用户 用户接入容量>10万 VPN吞吐>60Gbps VFW+VPN N7N5（POD用户） 用接入容量1万(单板)4万(单框) 3Gbps(单板)12Gbps(单框) 接入协议及方式 分支互联（IPsec） 软硬件客户端远程连接 （IPSEC/SSL/DTLS) 无客户端远程连接（SSL） 接入终端类型 (PC/平板电脑/智能手机) windows/MacOS/Linux Apple IPAD/Iphone Android Symbian Blackberry Internet WAAS 广域网加速 IPSec IPSec ssL TeleWorker Core-VDC 7k-1 Core-VDC 7k-2 VPC 共享安全服务池 VPC VPN资源池 Agg-VDC2 7k-1 Agg-VDC1 7k-1 Agg-VDC1 7k-2 Agg-VDC2 7k-2 独立访问页面: 每个租户希望能够定制自己的页面，思科的ASA可以做到这一点。但在实际SP用户使用过程中，可能只是提供logo更改，加入特定Title及页面颜色调整。 广泛的接入终端类型: 随着移动终端设备的普及，平板电脑，手机接入公司网络已经变成一个VPN接入的必备要求。而且我们要考虑到现在平板上应用程序的发展，很多服务的客户端软件都已经拥有了平板电脑操作系统的版本。 丰富的接入协议类型：用户可能希望通过门户页面，用浏览器访问内网。也有用户希望直接通过IPSEC客户端接入。客户可能还会有分支结构或者小型办公室无法通过MPLS并入公司的VPN。希望利用MS服务将这些分支通过Site to Site IPsec接入公司的内网。 租户隔离：各个租户之间，对应的就是不同的内网，那么租户之间必须隔离开，不能互访。 业务易管理：后期开展业务，可能需要统一平台，如何能够做到方便管理。在开发管理接口时，不得不考虑开发的方便及可再利用性。因为在这方面，并没有公共的接口协议，那么命令行CLI就成为了最方便的解决方案。好处是，当SP有多家不同公司的产品时，只要开发一套，其他的直接通过调整命令行部分就能重新复用代码，非常的方便。而针对某个厂家的API进行开发，因为API提供的方式及函数类型不同，就需要彻底重新开发，而且厂家往往在升级软件时可能会调整API，造成重新二次开发的问题。 计费：考虑到按照接入流量计费，或者按照接入时间计费，需要提供计费信息 POD 大租户安全服务池 VFW C29 N3K

云中心VPN特点 –多虚一技术 VPN集群技术特点 动态性能扩展–并发VPN隧道数扩展，VPN加密解密吞吐扩展。 动态负载均衡–保证设备利用率合理，健康状态实时跟踪。 动态接管–提供高可用性 。 保护投资/高兼容性 – 要求集群内设备型号允许混杂。 群集 IP 地址 10.10.1.X 124.118.24.50 客户端要求与 124.118.24.50 建立连接 .1 .2 .3 .4 .31 .32 .33 .34 Cluster Master 虚拟群集以 124.118.24.33 响应 客户端与 124.118.24.33 建立IPsec/SSL VPN 连接 多虚一，动态扩展Cloud DC的VPN处理能力，性能按需扩展。保护投资。

云中心VPN特点 -一虚多技术 Vlan Mapping VLAN镜像技术特点 VPN Gateway Virtual Portal Tunnel A VPN Gateway 租户内内部地址规划独立。 租户VPN会话 与VLAN绑定。 所有租户单公网IP接入。 每租户有独立的定制界面。 每租户有独立的认证服务器组。 每租户有独立访问 控制. 设备支持租户数较多，租户数=VLAN数。 性能要求低。 免License，经济。 Outside IF Tunnel B G-A G-B G-C Tunnel C Inside Vlan Vlan-A Vlan-B Vlan-C VRFA VRFB VRFC Virtual Portal 虚拟站点=技术特点 Tunnel A 每租户独立管理。 租户内内部地址规划独立。 每租户有独立的公网IP接入。 每租户有独立的定制界面。 每租户有独立的认证服务器组。 每租户有独立访问 控制. 租户数支持有限。 性能要求相对较高。 需要License。 Tunnel B Outside IF=A Outside IF=B Outside IF=C Tunnel C Share Interface VContext-A VContext-B VContext-C IF=A Inside IF=A Inside IF=A Inside 一虚多，虚拟出多个VPN 网关从而实现动态扩展，租户逻辑隔离，减少投资。

云中心安全虚拟服务点

服务器虚拟化潜在问题 vMotion 在不同物理端口迁移虚拟机—网络策略必须跟随vMotion 2. 必须查看和应用本地交换的网络和安全策略 Port Group 3. 需要不间断维护来确保租户/业务隔离 使用虚机的时候，通常企业端的服务提供商他们都希望所有的虚机在一个Hypervisor。但是随着虚拟机的密度不断增加，现在平均每个Hypervisor上会运行7/8个虚拟机。甚至有些用户单物理机起了10甚至15个虚拟机。 在这种情况下，虚拟机之间的安全策略/网络策略如何保证？不仅如此，虚拟机如果从一个物理主机迁移到另外一个物理主机时。你如何保证在迁移过程，安全的一致性。而且通常情况下，网络team和安全team/服务器Team都是分开维护的。如何让他们有效的协同工作？ Server Admin Security Admin Network

虚拟化和云需求推动数据中新需求 传统数据中心 虚拟数据中心 FW WAAS WAN Opt ACE/ SLB 服务于特有应用 组成: VDC-1 VDC-2 APP OS Hypervisor FW WAAS WAN Opt ACE/ SLB 服务于特有应用 组成: 专用设备 交换模块 虚拟设备 动态实施配置 服务对VM移动透明 可扩展 适合大规模多租户操作 虚拟服务点 设备虚拟化 资源限定 可扩展 性能可靠 适合特定租户操作 传统服务点

Nexus 1000 V 软件交换机 VSM + VEMs = Nexus 1000 Virtual Chassis VSM: Virtual Supervisor Module VEM: Virtual Ethernet Module Nexus 1000 V 软件交换机 VSM + VEMs = Nexus 1000 Virtual Chassis Virtual Appliance 每个VEM支持200+ vEth ports(虚拟网口) 每个N1K（VSM)支持64 VEMs (VEM通过L2 或者 L3连接 VSM) 每个N1K（VSM)支持 2K vEths VSM运行NX-OS Switching: L2 Switching, 802.1Q Tagging, VLAN Segmentation, Rate Limiting (TX), IGMP Snooping, QoS Marking (COS & DSCP), Class-based WFQ Security: Policy Mobility, Private VLANs w/ local PVLAN Enforcement Access Control Lists (L2–4 w/ Redirect), Port Security Dynamic ARP inspection, IP Source Guard, DHCP Snooping Suppress broadcast storm VSM1 VSM2 … Linecard-N Supervisor-1 (Active) Supervisor-2 (StandBy) Linecard-1 Linecard-2 Back Plane L2 Mode L3 Mode Nexus 1000V VEM VEM-2 VEM-N VM VM VM VM Hypervisor Hypervisor Hypervisor

虚拟安全网关(VSG) 基于内容, 虚拟感知, 多容器，工作分离 VNMC VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM Nexus 1000V Distributed Virtual Switch 分布式虚拟交换机 vPath VSG (备用) VSG (主用) 采用传统的物理安全设备，可能无法对虚拟机和虚拟机之间的流量进行监控。 安全隔离(VLAN agnostic) 高效部署 (secure multiple hosts) 动态策略配置 (Dynamic policy-based provisioning) 透明接入(topology agnostic) 高可靠性(HA) VM移动感知(policies follow vMotion) Log/Audit 日志/审计 通过物理CPU数量来限制License(不限制Core的数量) 自动设计(XML API, security profiles) VNMC: Virtual Network Management Center

虚拟服务点方式的Cloud安全 出口 ASR9K ASR Internet出口防火墙 全局VRF/VDC Virtual Service 按需生成服务点，方便流程化管理。 透明物理拓扑部署 。 License按照CPU数收取。 按照实际性能需求可自行扩充CPU和内存。 计算资源可以重复利用。 方便迁移。 区域1 VLAN 1-1000 区域2 VLAN 1001-2000 区域3 VLAN 2001-3000 应用系统2 VLAN 3 Nexus 1000V VLAN 1003 VLAN 2003 Layer2 N7/5/2K 应用系统1 VLAN 2 VLAN 1002 VLAN 2002 应用系统 VLAN 1 VLAN 1001 VLAN 2001 虚拟 桌面 业务系统1 /租户1 业务系统2 /租户2 APP OS DB WEB vPath VSG VRF-L N7K(VDC) 业务系统3/租户3 全局VRF/VDC ASR vACE vWAAS ASA1000V VSN 虚拟服务点 Virtual Service Node 出口 Internet出口防火墙 ASR9K 按需生成服务点，方便流程化管理。 部署透明 License按照CPU数收取。 按照实际性能需求可自行扩充CPU和内存。 计算资源可以重复利用。 方便迁移。

通过XML API集成第三方流程管理工具，易于操作管理orchestration tools 单管理接口管理思科虚拟服务设备 通过SDK实现附加业务灵活性 常见的用户体验和操作流程 通过XML API集成第三方流程管理工具，易于操作管理orchestration tools 属于思科云管理组件生态系统 Virtual Appliance VSM VSG VNMC ASA1000V Author's Original Notes: VEM-1 vPath VEM-2 vPath Hypervisor Hypervisor