IT通用技术专题——存储 Version: V1.0(2013-5-15)

目录 1 Click to add Title 存储基础知识 2 Click to add Title 存储产品系统及软件概述 3 存储基本解决方案介绍 4 Click to add Title 存储业界主要厂商介绍

存储是什么？ 广义的存储定义 狭义的存储定义 CD、DVD、ZIP，磁带，硬盘等 1、存储硬件系统（磁盘阵列，控制器，磁盘柜，磁带库等） 2、存储软件（备份软件；管理软件，快照，复制等增值软件） 3、存储网络（HBA卡，光纤交换机，FC/SAS线缆等） 4、存储解决方案（集中存储，归档，备份，容灾等）

存储是企业数据的“家” 文件服务器 离线存储 数据产生 数据处理 数据管理 数据库服务器 邮箱服务器 应用服务器 用户 员工 在线存储 近线存储 依据数据的访问频率

存储发展历程：从附属于服务器，剥离成独立系统 智能硬盘阵列(DAS) 存储数据网络(SAN&NAS) 专业性 外部硬盘阵列（DAS) 硬盘在服务器内部 硬盘 CPU RAM Server SCSI卡 控制器 多个 应用服务器 NAS SAN 文件系统 RAID CPU 硬盘 RAM Server RAID功能 SCSI卡 JBOD(Just Bound Of Disk) CPU 硬盘 RAM SAN LAN 时间 40年代~70年代 70年代~80年代 80年代~90年代 90年代之后

存储主要协议 SCSI协议： （Small Computer System Interface，小型计算机系统接口）是一种为小型机研制的接口技术，用于主机与外部设备之间的连接。SCSI-3是所有存储协议的基础，其它存储协议都用到SCSI的指令集。优点：与主机无关、多设备并行、高带宽。缺点：允许连接设备数量少、连接距离非常有限。 FC协议： FC是光纤通道（Fiber Channel）的简称，用于服务器与共享存储设备的连接，存储控制器和驱动器之间的内部连接，是一种高性能的串行连接标准。其接口传输速率目前有4Gbps 、8Gbps几种标准。传输介质可以选择铜缆或光纤，传输距离远，支持多种互联拓扑结构。光纤通道是构建FC SAN的基础，是FC SAN系统的硬件接口和通信接口。 iSCSI协议： （Internet Small Computer System Interface）互联网小型计算机系统接口，是一种在TCP/IP上进行数据块传输的标准，可以理解为SCSI over IP。iSCSI可构成基于IP的SAN，为用户提供高速、低价、长距离的存储解决方案。iSCSI将SCSI命令封装到TCP/IP数据包中，使I/O数据块可通过IP网络传输，是未来的发展之路。 SAS协议： （Serial Attached SCSI）即SCSI总线协议的串行标准，即串行连接SCSI；SAS采用串行技术以获得更高的扩充性，并兼容SATA盘。目前SAS的最高传输速率高达3Gpbs、6Gbps，支持全双工模式。

DAS起源 服务器 控制器 控制器 控制器 磁盘阵列 DAS（Direct Attached Storage） 时间：70年代 连接方式：FC,SCSI,SAS 访问方式：直连式存储与服务器主机之间的连接通道通常采用SCSI连接 链路速率：20MB/s、40MB/s、80MB/s 提供快照、备份等功能 服务器 SAS FC SCSI 控制器 控制器 控制器 磁盘阵列

NAS起源（网络数据共享与交换需求） NAS应用系统架构 NAS(Network Attached Storage) 时间：90年代初 访问方式：多台前端服务器共享后端存储设备，后端NAS设备上的存储空间通过CIFS（window系统）、NFS（Linux系统）协议共享给前端主机，可同时对同一目录或文件进行并发读写 文件系统位于后端存储设备 链路速率：1Gbps、10Gbps NFS NFS CIFS 专用IP 存储网络 文件系统 RAID NFS, CIFS NAS 存储设备

FC SAN起源（由DAS到FC SAN） FC SAN（Fiber Channel Storage Area Network） 时间：90年代中后期 背景：为解决DAS扩展性差的问题，将存储设备网络化，可以同时连接上百台服务器 连接方式：FC光纤，使用专用的FC交换机 访问方式：后端一台存储设备的存储空间可以划分为多个LUN，每一个LUN只能属于一台前端服务器 链路速率：2Gbps、4Gbps、8Gbps 提供快照、容灾等高级数据保护功能 服务器 FC交换机 FC链路 FC SAN 控制器 磁盘阵列

IP SAN起源（由FC SAN到IP SAN） IP SAN（IP Storage Area Network） 时间：2001年 背景：为解决FC-SAN在价格及管理上的诸多门坎而产生 连接方式：采用以太网作为连接链路，以太网交换机 访问方式：后端一台存储设备的存储空间可以划分为多个LUN，每一个LUN只能属于一台前端服务器 链路速率：1Gbps、10Gbps 提供快照、容灾等高级数据保护功能 iSCSI 被看好的原因 可以采用非常成熟的IP网络管理工具和基础建设 IP网络使用普遍，可为企业节省大笔建设、管理及人事成本 服务器 以太网交换机 IP链路 iSCSI存储 控制器 磁盘阵列 备注：iSCSI（互联网小型计算机系统接口）是一种在internet协议网络上，特别是以太网上进行数据块传输的标准。简单地说，iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择，实现了SCSI和TCP/IP协议的连接。        iSCSI是基于IP协议的技术标准，该技术允许用户通过TCP/IP网络来构建存储区域网（SAN）。而在iSCSI技术出现之前，构建存储区域网的唯一技术是利用光纤通道，但是其架构需要高昂的建设成本，远非一般企业所能够承受。iSCSI技术的出现对于以局域网为网络环境的用户来说，它只需要不多的投资，就可以方便、快捷地对信息和数据进行交互式传输和管理。相对于以往的网络接入存储，iSCSI的出现解决了开放性、容量、传输速度、兼容性、安全性等问题，其优越的性能使其自发布之日始便受到市场的关注与青睐。

三种存储组网，各有优劣 DAS NAS FC-SAN IP-SAN 传输类型 SCSI、FC、SAS IP FC 数据类型 块级 文件级 典型应用 任何 文件服务器 数据库应用 视频监控 优点 易于理解 兼容性好 易于安装 成本低 高扩展性、高性能 高可用性 高扩展性 缺点 难管理，扩展性有限 存储空间利用率不高 性能较低 对某些应用不适合 较昂贵，配置复杂 互操作性问题 SAN与NAS并不是两种互相竞争的技术，二者通常相互补充以提供对不同类型数据的访问。SAN针对海量的面向数据块的数据传输，而NAS则提供文件级的数据访问和共享服务。越来越多的数据中心采用SAN+NAS的方式实现数据整合、高性能访问以及文件共享服务。

NAS和SAN的融合——统一存储 统一存储：一种网络存储架构，它既支持基于文件的NAS存储，又支持基于块的SAN存储。 GE/10GE FCoE FC CIFS NFS 块 Databases Digital media Applications File services 文件 FTP HTTP 时间：21世纪初 背景：为解决多种存储架构带来的管理、高TCO问题，支持多种传输协议，同时满足不同需求的统一存储设备应运而生 同时支持不同传输协议，以单一系统满足企业各式各样的存储需求 统一的管理界面，简化系统管理 前后端均为系统内部链接，整体运行效率高 模块化的架构，灵活配置，成本可控；轻松扩容，保护用户投资，降低整体TCO SAN、NAS、iSCSI 控制器 磁盘阵列

高可靠、高扩展、易管理、标准化、无距离限制，广域存储 存储主要协议对比 SCSI协议 FC协议 iSCSI协议 接口技术 SCSI 光纤通道 IP 接口类型 并行 串行 适配器 SCSI卡 FC HBA iSCSI HBA或以太网卡 目前最大速率 320MB/s 4/8Gb/s 1/10Gb/s 管理 简单 复杂 兼容性 好 较差 优点 与主机无关 多设备并行，高带宽 高带宽、低时延、传输距离长 高可靠、高扩展、易管理、标准化、无距离限制，广域存储 缺点 连接设备少；传输距离短； 单I/O控制器，有单点故障 成本高、缺少统一标准， 传输距离有限 其他协议：SAS协议、AOE协议、Infiniband协议等

硬盘类型 硬盘类型 盘径 接口 功能 介质 ATA/IDE 5.25 英寸 SATA/NL SAS 3.5 英寸 SCSI 2.5 英寸 1.8 英寸 机械硬盘(HDD) 固态硬盘(SDD) ATA/IDE SATA/NL SAS SCSI SAS FC 桌面级 企业级 桌面级硬盘主要针对家庭个人应用，应用在台式PC、笔记本等领域；企业级硬盘针对企业级应用，主要应用在服务器、存储磁盘阵列、图形工作站等。 容量：相比桌面级硬盘，企业级硬盘具备更大的存储容量，当前单硬盘最大容量可达4TB 性能：主要体现在转速、缓存、平均寻道时间等 可靠性：企业级硬盘具有更高的平均无故障时间（MTBF），一般来说桌面级硬盘的平均无故障时间大部分都在50万左右小时，企业级的都在100万以上。

主流硬盘类型 硬盘接口是硬盘与主机系统间的连接部件，作用是在硬盘缓存和主机内存之间传输数据。不同的硬盘接口决定着硬盘与计算机之间的连接速度，接影响着程序运行快慢和系统性能好坏。 SATA SAS NL-SAS SSD 主流转速（RPM） 7,200 15,000/10,000 7200 NA 串行/并行 串行 主流容量（TB） 1T/2T/3T 0.3T/0.6T 2T/3T/4T 0.1T/0.2T/0.4T MTBF(h） 1,200,000 1,600,000 2,000,000 备注 由ATA硬盘发展而来，采用串行方式传输，SATA 2.0支持300MB/s, SATA3.0实现600MB/s最高数据传输率. SAS专为满足高性能企业需求而设计，并且兼容SATA硬盘。能够提供3.0Gbit/s的传输率，规划到12.0Gbit/s 带有SAS接口的“企业级SATA驱动器”。适用于在一个此盘阵列系统中实现分级存储，简化了磁盘阵列系统的设计 固态硬盘（Solid State Disk）用固态电子存储芯片阵列而制成的硬盘，由控制单元和存储单元（FLASH芯片、DRAM芯片）组成。固态硬盘的接口规范和定义、功能及使用方法上与普通硬盘的完全相同，在产品外形和尺寸上也完全与普通硬盘一致。 主流硬盘。SSD,SAS,NL-SAS,SATA

硬盘关键指标 硬盘容量（Volume） 容量的单位为兆字节（MB）或千兆字节（GB）。影响硬盘容量的因素有单碟容量和碟片数量。 转速（Rotational speed） 　　硬盘的转速指硬盘盘片每分钟转过的圈数，单位为RPM（Rotation Per Minute）。一般硬盘的转速都达到 5400RPM/7200RPM。SCSI接口硬盘转速可达10000－15000RPM。 平均访问时间*（Average Access Time）＝平均寻道时间＋平均等待时间。 数据传输率（Date Transfer Rate）      硬盘的数据传输率是指硬盘读写数据的速度，单位为兆字节每秒（MB/s）。硬盘数据传输率包括内部传输率和外部 传输率两个指标。 IOPS(Input/Output Per Second) 即每秒的输入输出量(或读写次数)，是衡量磁盘性能的主要指标之一。随机读写频繁的应用，如OLTP(Online Transaction Processing)，IOPS是关键衡量指标。另一个重要指标是数据吞吐量(Throughput)，指单位时间内可以成功传输 的数据数量。对于大量顺序读写的应用，如电视台的视频编辑，视频点播等则更关注吞吐量指标。

RAID基本概念——定义 根据不同的组合方式可以分为不同的RAID级别: 同时采用两种不同的RAID方式还能组合成新的RAID级别: RAID （Redundant Array of Independent Disks）即独立磁盘冗余阵列，RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而提高了硬盘的读写性能和数据安全性。 根据不同的组合方式可以分为不同的RAID级别: RAID 0 数据条带化，无校验 RAID 1 数据镜像，无校验 RAID 3 数据条带化读写，校验信息存放于专用硬盘 RAID 5 数据条带化，校验信息分布式存放 RAID 6 数据条带化，分布式校验并提供两级冗余 同时采用两种不同的RAID方式还能组合成新的RAID级别: RAID 0+1 先做RAID 0，后做RAID 1，同时提供数据条带化和镜像 RAID 10 类似于RAID 0+1，区别在于先做RAID 1，后做RAID 0 RAID 50 先做RAID 5，后做RAID 0，能有效提高RAID 5的性能

RAID基本概念——数据组织及存取方式 分块 条带 数据组织形式 分条 硬盘0 硬盘1 硬盘2 硬盘3 分块：将一个分区分成多个大小相等的、地址相邻的块，这些块称为分块。它是组成条带的元素。 条带：同一磁盘阵列中的多个磁盘驱动器上的相同“位置”（或者说是相同编号）的分块。 分条 分块 条带 硬盘0 硬盘1 硬盘2 硬盘3

RAID基本概念——热备、重构 热备 重构 热备（HotSpare）的定义： 当冗余的RAID组中某个硬盘失效时，在不干扰当前RAID系统的正常使用的情况下，用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘，及时保证RAID系统的冗余性。 热备一般分为两种： 全局式：备用硬盘为系统中所有的冗余RAID组共享 专用式：备用硬盘为系统中某一组冗余RAID组专用 重构 重构 A0 XOR XOR 故障 A0 更换 A1 A1 A2 A2 P P 数据盘 数据盘 数据盘 校验盘 热备盘

RAID基本概念——逻辑卷 分割 RAID RAID LUN1 LUN2 LUN3 逻辑卷 物理磁盘 在RAID的基础上可以按照指定容量创建一个或多个逻辑卷，通过LUN（Logic Unit Number）来标识 LUN1 LUN2 LUN3 逻辑卷 分割 RAID RAID 物理磁盘

RAID级别—RAID0,RAID1 RAID0 RAID1 …… …… A A B B C C D D E E I E A J F B K 又称镜像（Mirror），数据同时一致写到主硬盘和镜像硬盘 数据 数据 …… A B C D E …… A B C D E F G H A A B B I E A J F B K G C L H D = C C D D E E

RAID级别 —— RAID3，RAID5 RAID3 RAID5 PA PB C2 PC D1 PD …… P4 A3 A2 A1 A0 E4 E3 E2 E1 P0 异或运算 数据 D1 C2 PD PC PA PB A B C D 数据盘 校验盘 带有校验的并行数据传输阵列，数据条带化分布在数据盘中，同时使用专用校验硬盘存放校验数据 与RAID 3机制类似，但校验数据均匀分布在各数据硬盘上，RAID成员硬盘上同时保存数据和校验信息，数据块和对应的校验信息保存在不同硬盘上。RAID 5是最常用的RAID方式之一 RAID3 RAID5

RAID级别 —— RAID 6原理示例 …… 异或运算 A3 数据盘 横向校验盘 斜向校验盘 A1 A2 A4 A7 A10 A8 A5 横向校验盘：P1—P4为各个数据盘中横向数据的校验信息 例：P1=A1 XOR A2 XOR A3 XOR A4 斜向校验盘：DP1—DP4为各个数据盘及横向校验盘的斜向数据的校验信息 例：DP1=A1 XOR A6 XOR A11 XOR A16 P1 P2 P3 P4 横向校验盘 斜向校验盘 数据盘 DP1 DP2 DP3 DP4 A14 DP5

RAID组合级别 —— RAID 10，RAID50 RAID10 RAID50 L K J I B C D E F G H P13 F1 A2 P02 A1 A0 B2 B1 P01 B0 P03 C1 C0 P00 D0 E0 D1 F0 …… D2 P12 E2 E1 P11 P10 硬盘0 硬盘1 硬盘2 硬盘3 硬盘4 硬盘5 异或运算 L K J I

常见RAID级别的比较 RAID级别 RAID0 RAID1 RAID5 RAID6 RAID10 可靠性 最低 高 较高 最高 冗余类型 无 镜像冗余 校验冗余 可用空间 100% 50% （N-1)/N （N-2)/N 性能

华为RAID2.0+: 两层虚拟化 物理硬盘存储池Pool Chunk CKG Extent Vloume 主机看见LUN 分级 不分级 多种类型硬盘同时存放于存储池 每个硬盘空间被切分成精细粒度的块Chunk(64MB) 来自不同硬盘上的Chunk组成CKG CKG被切分成更细粒度的空间(256KB~64MB) 多个Extent组成Volume LUN可在短时间内创建成功，无需预先分配资源 Extent的存在方便内部的管理（如：迁移、重构） 1）重构是对Chunk操作，涉及到CKG的重建；迁移是对extent操作；如果没有extent，就意味着重构时需对CKG迁移及数据校验，此时再发生迁移，元数据管理将很复杂； 2）如果没有extent，不同tier具备不同的RAID属性，CKG粒度则不同，导致元数据管理方式需不同，增加管理上的复杂性； Chunk的粒度为64MB，为啥选择64为粒度？ CKG来自不同盘的chunk，CKG中的任何两个Chunk都不能属于同一个硬盘； 分条的深度为64KB，extent的默认粒度是4MB

目录 1 Click to add Title 存储基础知识 2 存储产品系统及软件概述 Click to add Title 3 存储基本解决方案介绍 4 Click to add Title 存储业界主要厂商介绍

+ = = + 存储阵列与硬件概况 控制框和硬盘框分离 控制器和硬盘框一体 存储阵列系统 控制框 硬盘扩展框 控制器模块 硬盘框 概述：存储阵列是把多个硬盘组成一个阵列，当作单一硬盘使用，它将数据以分段（striping）的方式储存在不同硬盘中，存取数据时，阵列中的相关磁盘一起动作，大幅减低数据存取时间，同时有更佳的空间利用率。常见阵列形式（以华为为例），主要有如下两种： 控制框和硬盘框分离 + 存储阵列系统 = 控制框 硬盘扩展框 控制器和硬盘框一体 + = 控制器模块 硬盘框 存储阵列系统

× 双控制器——主流阵列架构 Server SAS/FC 1）写入数据在双控CACHE中各保存两份，避免单控故障导致数据丢失。 2）每个控制板的后端分别接入物理磁盘的环路——业务负载均衡，提升整体系统性能 将多个LUN的负载或者同一个LUN的负载均衡在两个控制器上，避免性能瓶颈 镜像通道 硬盘通道 一控制器故障时，另一控制器在主机多路径软件配合下接管业务负载，确保不中断 SAS/FC CPU × Server

常见存储软件概览 存储软件，从底层的驱动、设备管理到上层的系统管理、增值软件等，种类繁多，根据功能可大致分为以下几类： 华为对应软件 管理类 IT基础设施管理 ，磁盘管理 Management Console， InfraControl 数据保护类 快照， LUN 拷贝， 分裂镜像，远程复制， HyperSnap， HyperCopy ， HyperClone， HyperReplication 可靠性提升类 UltraPath， UltraVR， UltraAPM 多路径软件… 自动精简配置，自动数据分级 重复数据删除，服务质量控制 缓存预取、分区，智能数据迅移 SmartThin， SmartTier De-duplication，SmartQoS，，SmartCache， SmartMotion 效率提升类

× 多路径软件保护 A控 B控 Page 30 屏蔽冗余硬盘 路径的故障切换和恢复 虚拟硬盘 多路径驱动 多路径虚拟HBA 硬盘驱动 可靠性提升 效率提升 绿色节能 数据保护 屏蔽冗余硬盘 虚拟硬盘 多路径驱动 多路径虚拟HBA HBA1 HBA2 LUN 硬盘驱动 1 未安装多路径 2 安装了多路径 主机看到两个物理LUN 主机只看到一个LUN LUN1 路径的故障切换和恢复 LUN0 A控 B控 LUN2 LUN3 物理路径 IO路径 × Page 30

自动精简配置技术 存储容量虚拟化 根据推测设定理论存储空间 只划分出实际所需的物理存储空间 逻辑虚拟空间 实际分配物理空间 服务器 可靠性提升 效率提升 绿色节能 数据保护 用户可见的存储空间 data 逻辑虚拟空间 存储资源池 存储阵列 硬盘资源 实际分配物理空间 服务器 space disk 存储容量虚拟化 根据推测设定理论存储空间 只划分出实际所需的物理存储空间 不会预先分配所有的空间，而是将大于物理存储空间的容量形态呈现给用户，使用户看到的存储空间远远大于系统实际分配的空间。用户对这部分空间的使用实行按需分配的原则，即：用多少提供多少。如果用户的存储空间不足，可通过扩充后端存储资源池的方式来进行系统扩容，整个扩容过程无需业务系统停机，对用户完全透明

自动分级存储 SSD硬盘，存取速度快、性能好、价格相对昂贵； 适合用于作为在线存储； FC/SAS硬盘，存取速度相对较快、价格相对适中 可靠性提升 效率提升 绿色节能 数据保护 SSD硬盘，存取速度快、性能好、价格相对昂贵； 适合用于作为在线存储； FC/SAS硬盘，存取速度相对较快、价格相对适中 适合用于作为近线存储 SATA/NL-SAS硬盘，存取速度相对较慢、容量较大，价格相对便宜 适合用于作为离线存储 数据访问频繁、对存取速度敏感 热数据流动方向 冷数据流动方向 数据访问频率低，无较高性能要求 分级存储实现原理 数据分级存储的工作原理是基于数据访问的局部性。通过将不经常访问的数据自动移到存储层次中较低的层次，释放出较高成本的存储空间给更频繁访问的数据，可以获得更好的性价比。这样，一方面可大大减少非重要性数据在一级本地磁盘所占用的空间，还可加快整个系统的存储性能。

重复数据删除技术 内网 外网 重删后的文件：3TB 原文件：9TB 某数据中心 可靠性提升 效率提升 绿色节能 数据保护 重复数据删除，顾名思义，就是删除重复数据来给系统瘦身，它是一种数据缩减技术，通常用于基于磁盘的备份系统。系统不能判断哪些信息是垃圾，却可以判断哪些信息是冗余的。通过识别这些冗余信息并作删除处理，实现了系统的显著“减肥”。 外网 内网 某数据中心 备份中心 原文件：9TB 重删后的文件：3TB A B C 重删后传输内容 重删前传输内容 数据块 重复数据块索引 重删比：3:1，最高可达20:1 多个全备重复数据较多，一般可取综合重删比10:1~20：1

硬盘休眠技术 可靠性提升 效率提升 绿色节能 数据保护 存储数据在生命周期内并非一直处于被访问状态，硬盘休眠技术就是让某些特定的硬盘进入“休眠状 态”，来达到降低存储设备能耗，延长硬盘使用寿命、节省电力资源、减少维护成本、高效利用硬盘资 源的目的。 Standby即我们所说的“休眠状态”，当有新I/O请求时，可以“唤醒”硬盘，其从Standby进入到 Active状态。 Active状态 Standby状态 Idle状态 硬盘有正常的I/O读写访问，硬盘电机与磁头均正常工作 硬盘无读写操作，磁头不动，但是电机正常运转 电机停转，磁头不动，硬盘正常供电系统正常工作，保证对硬盘的供电 硬盘休眠 Page 34

快照技术 快照是对指定数据集合的一个完全可用拷贝， 该拷贝包含源数据在拷贝时间点的静态映像。 快照可以是数据再现的一个副本或者复制。 可靠性提升 效率提升 绿色节能 数据保护 快照是对指定数据集合的一个完全可用拷贝， 该拷贝包含源数据在拷贝时间点的静态映像。 快照可以是数据再现的一个副本或者复制。 作用：进行在线数据备份与恢复。当存储设备 发生应用故障或者文件损坏时可以进行快速的 数据恢复，将数据恢复某个可用的时间点。 价值：在不中断正常业务的前提下，快速得到 一份与源文件系统或源LUN一致的数据副本。 副本生成之后立即可用，并且对副本的读写操 作不再影响源数据。因此通过快照技术就可以 解决如在线的备份、数据分析、应用测试等难 题。 a d g j b e h k c f i l 快照 a d g j b e h k c f i l 8:00 AM a d g j b m h k c f n l a d g j b e h k c f i l 9:00 AM 源数据 数据快照 图片太丑了，换动画。

LUN拷贝技术 可靠性提升 效率提升 绿色节能 数据保护 定义：将磁盘阵列中的源LUN数据Copy到目标LUN中， 主要有全量拷贝和增量拷贝两种。全量拷贝即把源 LUN数据从头到尾进行一次完整的至目标LUN的拷贝。 增量拷贝即在第一次启动数据初始全量拷贝后，以后 每次拷贝只需将上次时间点至本次拷贝时间点之间更 新的数据同步即可。 特点：异构存储之间拷贝 一对多拷贝 在线改变拷贝速率 FC/IP网络支持 业务无关性（增量LUN拷贝），不需中断业务 场景：数据迁移，数据备份 全量拷贝 增量拷贝

分裂镜像技术 可靠性提升 效率提升 绿色节能 数据保护 定义：在不中断业务的前提下，为存储系统的LUN建立一份某时刻的完整物理拷贝，并且在分裂后对物理拷贝的读写操作不会影响原LUN上的数据，等同于数据克隆。 Page 37 Page 37

远程复制技术 可靠性提升 效率提升 绿色节能 数据保护 远程复制又称远程镜像，是数据镜像技术的一种，它能够在两个或多个站点维护若干个数据副本，利用长距离来避免灾 难发生时的数据丢失。主要有同步远程复制和异步远程复制两种主流技术。 同步远程复制 新数据写入 ① ④ 新数据写入 ② 向灾备中心端发出写入请求 ③ 灾备中心端返回“完成”信号 生产阵列 灾备阵列 异步远程复制 新数据写入 ① ② 新数据写入 ③ 向灾备中心端发出写入请求 ④ 灾备中心端返回“完成”信号 生产阵列 灾备阵列

持续数据保护技术 可靠性提升 效率提升 绿色节能 数据保护 持续数据保护（CDP）是一套方法，它可以捕获或跟踪数据的变化，并将其在生产数据之外独立存放，以确保数据可以恢 复到过去的任意时间点。持续数据保护系统可以基于块、文件或应用实现，可以为恢复对象提供足够细的恢复粒度，实现 几乎无限多的恢复时间点。 数据的持续一致性 业务系统的“实时”备份 生产业务的无影响 时间点 CPU 利用率 传统备份 N 天 3 d 1 d 2 d 4 d 快照技术 4-6 小时 复制技术 最后同步 CDP 任意时间点

Modularized equipment room 管理软件 集中监控 IT服务管理 资源管理&自动控制 机房监控 NetEco 云服务管理 事件管理 故障处理 变更管理 服务级别 (SLA) 配置管理 业务发放 服务目录 服务需求 Storage Server Network Modularized equipment room Container shelter Security 运维管理 云运营BSS 业务保障 资产&配置管理 用户管理 计量管理 服务SLA 企业服务Portal 计费管理 产品管理 订单 管理 云运营门户 运营门户 资源管理 资产管理 资源控制 自动部署 资源调度 CMDB 告警 性能 监控 拓扑 视频监控 环境监控 自动化运维 系统配置 软件部署 业务影响分析 业务KPI监控 故障诊断/定位 容量管理 云服务/运营管理 面向资源 面向业务和流程 设备管理，如多设备的集中管理，简单的配置向导 集中监控，如拓扑展示，实时监控系统的健康状态，多种告警上报机制等 业务保障：多维度性能统计展示，性能报表导出及查询等下图“红框”中的内容为华为Infracontrol 软件管理内容

存储统一管理软件 各种分散的存储特性 Huawei InfraControl Page 41 多设备管理 业务管理 网络资源管理 性能统计 Array Manager A N NAS Manager C LUN Copy SN Snapshot Manager B Backup Archive P Performance Manager 多设备管理 业务管理 Huawei InfraControl 网络资源管理 性能统计 SAN Array NAS Array Lun Copy Snapshot Backup Archive Performance 越来越多的设备种类、越来越多的业务类型、越来越多的管理软件，这是现状 如何简化管理、实现管理的融合，包括设备管理、网络资源管理、业务管理 如Symantec的CCS Page 41

目录 1 Click to add Title 存储基础知识 2 存储产品系统及软件概述 Click to add Title 3 存储基本解决方案介绍 4 Click to add Title 存储业界主要厂商介绍

CIFS/NFS/iSCSI/FC/FCoE 华为集中存储解决方案 基础方案 数据灾备 OA HPC Web NFS/CIFS/FTP/HTTP CIFS/NFS/iSCSI/FC/FCoE iSCSI/FC/FCoE Unstructured data applications Virtual machine applications Structured data appliactions NAS Unified Storage SAN VDI VM Server

灾备概述 BW(Backup Window) 一个工作周期内留给备份系统进行备份的时间长度 基础方案 数据灾备 灾难备援，是指利用科学的技术手段和方法，提前建立系统化的数据应急方式，以应对灾难的发生。其内容包括数据备份 和系统备份，业务连续规划、人员架构、通信保障、危机公关，灾难恢复规划、灾难恢复预案、业务恢复预案、紧急事件 响应、第三方合作机构和供应链危机管理等等。 RTO (Recovery Time Objective) 客户可以承受的最长停机时间 应用 恢复 启动 完成 备份 RPO 故障 /灾难 发生 00:00 06:00 12:00 开始 RPO (Recovery Point Objective) 客户可以承受的最大数据丢失量 BW(Backup Window) 一个工作周期内留给备份系统进行备份的时间长度 RTO BW 故障发生后数据可以恢复到的时间点

灾备系统建设的国际标准 TCO 15Min 1~4Hr 4~8Hr 8~12Hr 12~16hr 24Hr Days Weeks RTO 基础方案 数据灾备 15Min 1~4Hr 4~8Hr 8~12Hr 12~16hr 24Hr Days Weeks RTO TCO Tier 7 – 数据0丢失(RPO=0)，自动系统故障切换 Tier 6 – 数据0丢失 Tier 5 – 软件级，两地间两阶段提交（交易完整性） Tier 4 –活动状态的备份中心 (Active Secondary中心) Tier 3 – 电子链接传输 Tier 2 – 卡车运送+热备站点 Tier 1 – 卡车运送 SHARE 78国际标准将系统容灾级别划分为如下7级: （一般而言，数据备份常应用在Tier 1- Tier 4，数据容灾常应用在Tier 4 –Tier 7） TCO: Total Cost of Ownership

典型的备份类型 基础方案 数据灾备 Sun. Mon. Tue. Wed. Thu. Fri. Sat. 完全备份 差异备份 增量备份 每天全备份 每周一次全备份 本周其余每天备份与全备份的差异部分 本周其余每天备份与上次备份的差异部分 备份举例说明：完全备份时每天都做全备份；而增量备份和差异备份策略是：周日做一次全备份，一周7天为1个备份周期

LAN-Base Network Structure 基础方案 数据灾备 LAN-Base Network Structure 占用较大的现有网络带宽 备份性能受限 对主机应用有一定影响 优点 描述 缺点 充分利用已有网络，节省投资 对设备的要求较低 备份数据流通过已有的LAN网络 进行传输 生产存储 备份介质 应用服务器 备份服务器 介质服务器 生产中心 SAN 备份中心 数据库服务器 文件服务器 … LAN iDA MA CS 备份客户端代理 IP FC

LAN-Free Network Structure 基础方案 数据灾备 LAN-Free Network Structure 增加了对网络的投资 对设备要求较高 优点 描述 缺点 对业务主机影响小 对现有业务网络影响小 备份性能好 备份数据流通过SAN网络进行传 输 生产存储 备份介质 应用服务器 备份服务器 介质服务器 生产中心 SAN 备份中心 数据库服务器 文件服务器 … LAN iDA MA CS 备份客户端代理 IP FC

典型备份组网拓扑:Server-Free 基础方案 数据灾备 描述 生产中心 备份中心 备份数据流直接通过介质服务器 经由独立SAN网络进行传输 LAN … iDA iDA iDA iDA MA CS 优点 应用服务器 数据库服务器 文件服务器 应用服务器 介质服务器 备份服务器 对业务主机几乎无影响 对现有业务网络几乎无影响 备份性能好，依赖于SAN网络 SAN 备份介质 缺点 生产存储 对网络的投资较大 对设备要求高 备份服务器 CS MA 介质服务器 Server-Free Network Structure iDA 备份客户端代理 IP FC

容灾技术方案的选择 基于主机层 基于SAN网络层 (VIS镜像) 基于阵列层 (HyperMirror/S) IP NAS SAN 磁盘阵列 基础方案 数据灾备 IP NAS SAN 磁盘阵列 OS 应用 数据库管理系统 文件系统 裸设备/卷 设备IO驱动程序 基于主机层 数据库复制 文件系统复制 基于SAN网络层 (VIS镜像) 基于阵列层 (HyperMirror/S)

华为存储灾备解决方案 生产中心 容灾中心 基础方案 数据灾备 DR level 1-2 DR level 3 DR level 6 NAS 生产中心 容灾中心 WORM Disc PTL VTL Virtual LUN remote replication Remote replication IP remote replication Cold backup File Server Mail server Database Web Server Unified storage SAN RTP Storage Backup software FC/IP VIS DR level 4-5 UltraVR / UltraAPM DR software

目录 1 Click to add Title 存储基础知识 2 存储产品系统及软件概述 Click to add Title 3 存储基本解决方案介绍 4 Click to add Title 存储业界主要厂商介绍

业界存储厂商总体情况 市场方面，EMC长期占据30%以上的市场份额，接下来的依次是IBM, NetApp, HDS，HP各占据10%左右的市场份额（2012Q3 Gartner数据)。 各个厂商基本特点： EMC通过精确收购，构建了完整的存储解决方案，其高端存储阵列品牌和市场占有率很高; IBM的存储结合其小型机，业务咨询能力，在行业垂直解决方案有充分的优势; NetApp抓住非结构化数据存储的发展机会，基于统一的Data ONTAP平台，提供了丰富的软件功能及灵活性，有很多的差异化亮点； HDS存储的最大特点是高性能、高稳定性。 HP的主要特点是渠道优势、商务较好。 华为在存储领域有十年投入，华赛回归华为后加大了投入力度。华为吸取了业界的经验，突出的特点是硬件平台统一，软件平台统一，便于持续发展和存储方案整合。当前华为存储的市场占有率还很低（0.83%），但增长迅速， 年复合增长率为80%。

华为存储市场成就 Source: Gartner (March 2013). 华为的SAN和NAS存储产品双双进入Gartner的魔力象限图，同时也是SNIA的高级成员，华为已经成为世界上的主要存储厂商之一。 2012年Garnter魔力四象限地址：http://www.gartner.com/technology/reprints.do?id=1-1EL3WXN&ct=130321&st=sb

华为存储产品对位图 厂商 华为 EMC Netapp HDS HP IBM 统一存储 低端 S2000T VNXe FAS2000 HUS110 P2000/MSA V3000 中端 S5000T VNX5000 FAS3000 HUS130 StoreVirtual (P4000) EVA (P6000) V7000 中高端 S6000T VNX7000 FAS6000 HUS150 3PAR StoreServ 高端SAN OceanStor Enterprise Storage VMAX / VSP DS8000,XIV 集群NAS N8500/ OceanStor 9000 Isilon GX HNAS StoreAll SoNAS 分布式云存储 UDS Atmos StorageGRID 虚拟存储 VIS Vplex V Series HUS VM SVC 备份软件 /* Networker DP TSM 虚拟带库 VTL6900 DataDomain NearStore StoreOnce TS 资源管理 InfraControl Connectrix OnCommand System Manager Command Suite OpernView Tivoli *注：华为存储目前可以转售第三方备份软件Symantec NBU和CommVault Simpana来组成备份解决方案。

入门级存储厂商比较 主要厂商 IBM HP DELL EMC NetApp 华为 市场优劣势 借助服务器良好的口碑和渠道快速向市场铺货；低端领域一直以OEM为主，正在逐步自研 市场份额20.5%，第二。存储产品经常与自有服务器捆绑销售；尽管HP在入门级市场具有较高的占比，但目前下滑严重 市场份额最高28.5%, 存储产品经常与自有服务器捆绑销售，整包销售不利于客户降低商务 低端存储的市场占有率低于HP、DELL等厂商，其优势在中、高端市场； 入门级统一存储的创新者，在中低端领域耕耘多年 后进者，发展快，已经在国内厂商中领先 商务优劣势 典型配置-[双控+12pcs 1T SATA] 略高 最低 高 与Dell持平 关键技术\特性优劣势 软件功能丰富，支持虚拟化、实时数据压缩等功能 入门级产品对业界新技术的支持反应缓慢，提供基本的阵列功能，技术优势不明显 PowerVault 阵列使用的是由 LSI开发的控制器硬件和管理软件。 阵列仅提供常规的 RAID 存储，不具备像精简资源调配和压缩等高效性的功能 业界技术的领导者，新推出的低端一体化统一存储在同一套系统中可以同时多协议的访问 一体化统一存储的创新者。能同时提供基于块或者文件的分层，其性能无损快照数业界领先; WAFL能在短期内提供良好的写入性能，但持续使用的情况下性能会下降 在IOPS上第一，同价位配置规格高

中端存储厂商比较 主要厂商 EMC IBM NetApp HP 华为 市场优劣势 市场占有率15.61%。存储产品竞争力相对不是很强，通过服务器和解决方案组合销售，保持存储的规模 市场占有率12.37%。抓住非结构化数据爆发的机会，推出差异化的NAS产品，在差异化的客户获得快速成长 市场占有率10.37%。存储产品竞争力相对不是很强，通过服务器和解决方案组合销售，保持存储的规模 市场占有率0.83%。存储的后进者，目前处于快速上升期，短时间内迅速跃升至国内第四，全球第九的存储厂商。整体份额对比友商还有较大差距 商务优劣势 商务相对较高。增值软件通常按照业务数量收费，并且有容量授权费用，后期使用成本不可控 商务相对较高。多种功能按照业务数量收费，后期使用成本不可控 商务相对较高。软件费用较高，多项增值功能的管理软件（如快照）需要单独收费。在配置较多主机访问协议授权时费用高 商务相对较高。多项增值功能的管理软件（如快照）需要单独收费 软、硬件商务低于国际友商，软件为一次性收费，在配置容量较大时有较大商务优势 关键技术\特性优劣势 FAST效率提升软件功能丰富；虚拟机支持度最好，方案丰富; 厂商宣称性能高，但是其从不参与SPC测试，无法提供有效证明 中端只有V7000一款产品，支持存储虚拟化是其最大卖点; 但其NAS功能是通过两个通用服务器拼凑，并非专业存储设备，稳定性和性能无法得到保障 一体化统一存储，NAS功能效率最好; 其块功能是基于其文件系统之上构建，因此块功能效率相对较差 HP存储整体技术优势不强：不支持NAS，端口类型缺失，不支持动态分级和自动精简配置等存储高级软件是其软肋 SPC-1性能业界第一; 软件功能当前与业界拉齐。后续和高端存储系统统一到同一软件平台，软件功能具有强大优势

高端存储厂商比较 主要厂商 EMC HDS IBM HP 华为 市场优势 1.高端存储市场占有44% 2.市场占有率业界第一 3. 在政府、能源行业应用普遍 1.高端存储市场占有21% 2.金融行业应用普遍 1.高端存储市场占有22% 2.整体解决方案占优 1.高端存储市场占有12% 2.在NSP有优势 1.新进入者, 已经突破税务，公安，制造业，房产等行业 商务优劣势 商务相对较高，尤其是软件特性 商务相对较高 商务相对较高，主要是配套小机和大型机销售，扩容商务更高 商务持平 特性优劣势 优势： 1.支持大机/FICON接口; 2.增值软件特性丰富 劣势： 1.EMC采用RapidIO协议损耗交换,时延较长 2.数据管理粒度较粗 1.采用自研硬盘; 2.支持Cache在线添加 1.紧耦合架构,扩展性较差 2. 缓存分区生效周期长 1.和IBM大型机配合紧密; 2.基于成熟的小型机技术 1.IBM只有双控存储 2.最大Cache/盘位/接口/SPC1/增值软件特性等都处于劣势； 1.数据重构速度快 2. 支持多租户 1.扩展性较差 2.不支持主流的SAS盘 1. 架构领先 2.每TB数据恢复时间为30分钟，异步远程RPO为5秒 3.100万随机IOPS; 4.smart系列软件提高资源利用率，提升存储效能 1应用广度上较差

NAS厂商比较 主要厂商 EMC NetAPP HP Panasas 华为 市场影响力(Gartner 魔力四象限) 领导者(leader) 特定领域者(niche player) 特定领域者 (niche player) 进入Visionaries领域 关键技术 1.Isilon 全局文件系统，可提供高达100GB/s的带宽，对于高于10GB/s带宽的项目，性能有优势 1.WAFL文件系统 C-mode集群架构 1.集群技术来自于iBrix 服务器+阵列的方式，变化比较灵活 1.特定行业，在高性能计算有较强优势 2.带宽型产品 1.均衡式集群，对性能和容量均衡分布，线性扩展 特性优劣势 优势： 1.线性扩展，线性增长，配置简单 ; 劣势： 1.最低配3节点，中小规模场景下不适用 ; 2.节点处理能力一般 3.小文件处理能力较弱 1.在同一核上提供文件，块空间及特性 2. 增值功能丰富 ; 1.集群特性为新增功能，实际销售仍以两节点为主，主要集中在传统数据中心 1.基于其服务器和阵列的平台进行组合，较灵活，商务成本较低 1.国内实际应用案例较少，大规模项目更少 1.以带宽型性能著称 2.集中在HPC市场 3.支持SSD和SATA盘 1.不支持SAS，NL-SAS 2.对小文件处理能力较弱 1.支持文件级分级存储 2.支持大文件及海量小文件的性能及并发要求 1.行业应用的广泛度正在提升