第6章 数媒资产管理系统的存储技术 刘士军 1、光纤通道

Presentation on theme: "第6章 数媒资产管理系统的存储技术 刘士军 1、光纤通道"— Presentation transcript:

1 第6章 数媒资产管理系统的存储技术 刘士军 lsj@sdu.edu.cn 1、光纤通道
　　虽然iSCSI和FCoE被宣传得有些过了头，但是光纤通道仍然为大部分存储环境提供着服务。 　　StorageIO Group分析师Greg Schulz表示：“光纤通道是一项久经考验的技术，如今也出现了8Gb光纤通道的形式，更不用说路线图中规划的更高的速度。” 　　2、磁盘驱动器 　　Schulz表示，两年前一些分析师预测磁盘驱动器将在两年内被固态盘所取代。然而，到现在磁盘驱动器仍然存在，而且具有良好的价格、性能、容量和可用性等特点。诚然，光纤通道磁盘驱动器将让位于高速1.5万转SAS和更大容量的SAS和SATA驱动器。固态盘也将继续寻找新的机会。但是保守地说，磁盘驱动器与我们同在至少10年时间。 　　3、RAID 　　从大型企业到中小企业、SOHO和消费者产品中的软件、操作系统、设备以及存储，RAID真是无所不在。显然，它将继续成长发展。Schulz提出了他自己对这项技术的消失或者它无法满足容量越来越大的驱动器需求的担心。十年前，“大容量”9GB、18GB和36GB驱动器刚开始出现的时候，人们将开始关注重建时间长的问题。RAID解决了这些挑战，但同时也要面临新的难题。更远一点说，新的RAID算法甚至被用于Violin Memory等厂商最新的闪存阵列中。 　　4、快照 　　快照在10年来的历史中仅仅昙花一现了15多分钟，然后就消失在人们的视野中。然而，这项技术却被用于非常多的应用中。 　　Schulz表示：“长期以来一直被很多人认为理所当然、或者被其他一些人所误解的是，快照是一个非常棒的工具，可以被用于更多企业的块和文件应用、甚至是小型环境中来实现虚拟备份。” 　　5、磁带 　　磁带有点类似于“无纸社会”这个流行概念。在90年代末，有人说“无纸社会”即将到来。然而现实是，现在我们使用纸的量比以往更多了。同样地，数十年来关于磁带灭亡的话题一直被提及，但是存储在磁带的数据却比历史上任何时候都多。因为保存一定量的数据所需磁带和磁带驱动器更少，因此磁带的收入并不乐观。但是磁带技术仍然存在着，而且未来一段时间不会有所改变。 　　Schulz表示：“具有讽刺意味的是，磁盘对磁带的存活起到了帮助作用，因为磁盘要缓冲备份以便更有效地将备份传输到磁带和驱动器。”

2 数字媒体资产的海量存储要求 假设某电视台目前存储有200，000小时的各种视音频资料数据需要长期保存和管理，高码率采集的一部分素材需要经常使用。用MPEG-2专业级质量的压缩方式进行数字化存储(30Mbit/s)，其系统存储容量最少要求为：200000x3600 x30/(8 x1024)约2,640,000Gbyte，若低码率采用MPEG-4压缩格式(400Kbit/s)，其系统存储容量最少要求为： x3600 x400/ (8 x1024 x1024)约 34,400Gbyte 数字媒体资产管理

3 数字媒体资产的海量存储要求 中国广播电视音像资料馆一期系统具备20万盘原始录像磁带存储能力，在线数据存储量45TB，近线数据存储量400TB。10个人工上载工作站和一套自动化机械手上载系统，每日上载数据量为130小时 使用的大规模数据流磁带库设有10台磁带驱动器，可存储5500盘数据流磁带，数据流存储量1000TB。系统现阶段存储容量为10万小时，最终设计目标存储容量为100万小时 数字媒体资产管理

4 假设我们有这么一个超级存储… IBM阿尔马登（Almaden）和加利福尼亚（California）实验室的研究人员建立了一个比以往任何一个都要大10倍以上的数据储存库。这个1.2亿G的“硬盘”由20万个传统硬盘驱动器联合工作。这个巨大的数据容器能够存储1万亿个文件，能为复杂系统提供更强的仿真，如用于天气和气候建模 1.2亿G (12亿亿字节，12,000,000,000,000,000,000)的硬盘能够保存240亿个5M大小的MP3文件或者轻松保存互联网最大备份的60个副本，1500亿个网页组成了互联网档案馆的时光机 数字媒体资产管理

5 本章摘要 本章从数媒资产的存储介质、存储格式及分级存储策略等几个方面，分析和阐述视音频资料的存储特性、存储要求及其模式
多级存储管理技术可以使每个资源管理器都可支持多级存储模式，提供给用户更多存储介质的选择，不仅可以存储在硬盘上，还可以支持二级的光盘库、磁带库等 资源管理器内置的存储集合功能可根据用户存储介质及存储内容的访问速度、期限等需要制定灵活的存储管理策略，可跨多个资源管理器实现对不同优先级别内容的不同存储部署策略 通过和存储管理软件的集成，可使每类数字内容具有清晰的迁移途径和演变历史，极大地简化了用户在存储方面的维护工作 数字媒体资产管理

6 本章内容 6.1 数字媒体资产的存储介质 6.2 数字媒体资产的存储格式 6.3 数字媒体资产的存储技术和架构
6.4 数字媒体资产的分级存储策略 6.5 数字媒体资产的存储系统设计 数字媒体资产管理

7 1. 数字媒体资产的存储介质 目前应用的存储介质有磁盘阵列、数据流磁带、光盘塔和数字录像带等 中央电视台音像资料馆超大规模数据流磁带库
数字媒体资产管理

8 SAN网络存储设备 戴尔EqualLogic PS6000XV 　 数字媒体资产管理

9 NAS网络存储器 联想N200(含1TB硬盘) 内置两个3.5寸SATA硬盘插槽，可插入两块1TB的SATA硬盘，前后还各有一个USB2.0接口，可外接两块存储设备为产品增添容量，同时可以将它连接在局域网上，形成一台小型的网络存储服务器供局域网内的多台电脑存取、共享数据 数字媒体资产管理

10 IP网络存储 H3C Neocean EX1000S 数字媒体资产管理

11 磁盘阵列 浪潮AS3000( AS3000) 大存储容量1PB 高速缓存8GB-384GB
外接主机通道4/8GbFC、千兆网络接口、InfiniBand接口、万兆以太网接口 RAID支持0、1、0+1、3、5、6、10、30、50、60 ￥899.37万 数字媒体资产管理

12 磁带机 SONY SAITe1300-F/BSV(外置) 存储容量：500GB 压缩后存：1300GB 持续传输：30MB/s
磁带机　 SONY SAITe1300-F/BSV(外置) 存储容量：500GB 压缩后存：1300GB 持续传输：30MB/s 数字媒体资产管理

13 硬盘存储模式 硬盘主要用于计算机数据、程序的存储，硬盘的存储容量决定于盘片数与面密度 硬盘工作原理
无论是IDE还是SCSI,采用的都是"温彻思特“技术,都有以下特点： 1、磁头，盘片及运动机构密封。 2、固定并高速旋转的镀磁盘片表面平整光滑。 3、磁头沿盘片径向移动。 4、磁头对盘片接触式启停，但工作时呈飞行状态不与盘片直接接触。 盘片：硬盘工作原理盘片是将磁粉附着在铝合金（或玻璃）圆盘片的表面上.这些磁粉被划分成称为磁道的若干个同心圆，在每个同心圆的磁道上就好像有无数的任意排列的小磁铁，它们分别代表着0和1的状态 数字媒体资产管理

14 SCSI硬盘 SCSI硬盘是采用SCSI接口的硬盘，SCSI是Small Computer System Interface（小型计算机系统接口）的缩写，外观和普通硬盘接口相似 SCSI硬盘和普通IDE硬盘相比有很多优点：接口速度快，并且由于主要用于服务器，因此硬盘本身的性能也比较高，硬盘转速快，缓存容量大，CPU占用率低，扩展性远优于IDE硬盘，且支持热插拔 第5代的SCSI技术Ultra3 SCSI 的传 输速率高达160MB/S 【IDE硬盘最快支持133 MB/s数据传输速度 】，而光网络带宽现在已经达到 10G 数字媒体资产管理

15 独立磁盘冗余阵列RAID 独立磁盘冗余阵列RAID (Redundant Array of Inexpensive Disks)技术
RAID技术是在计算机的SCSI技术的基础上发展起来的，可以把若干个硬盘加上控制器组成一个大容量、快速响应、高可靠性的存储子系统，大大提 高了数据传输率和存储容量， 同时利用纠错技术提高了存储 的可靠性，有读写速度快、存 储容量大的特点 针对不同应用使用不同技术,称 为RAID level, 目前业界公认的 标准是RAID 0~RAID 5 大量用于非线性编辑设备、硬盘自动播出系统以及数字视频制播一体网 数字媒体资产管理

16 硬盘存储模式 RAID 0模式 简单的RAID模式，又称为延展技术，是通过RAID控制器把多个磁盘当成一个容量更大、速度更快的磁盘来使用
没有数据冗余功能，由多个磁盘并发协同工作完成数据的读写，数据被均匀分布在各个磁盘上 RAID 0的优点是读写速度快，价格便宜；缺点是安全性相对较差，因为在RAID0中的一个磁盘出现故障时，整个阵列的数据将会丢失 数字媒体资产管理

17 硬盘存储模式 RAID1模式 RAID 1实际上是镜像技术的实现，称为磁盘镜像。简单工作原理就是把相同的数据备份存放在两个驱动器，当一个驱动器出现故障，另一个仍然可维持系统的正常运转。恢复故障驱动器也是非常简单的，只要把数据完好的备份拷贝到正常的磁盘上就可以了 数据冗余换来的是数据安全 相对低廉的价格和易用的特点使它已经成为RAID控制器的主流之一 系统的实际效磁盘空间仅为所有磁盘空间的一半 数字媒体资产管理

18 硬盘存储模式 RAID 3模式 RAID 3是利用专门奇偶校验实现的延展技术，就是应用延展技术将数据分布到阵列的各个驱动器上，同时用专门的驱动器存储用于校验的冗余信息 优点就是既通过延展技术提高了性能，又利用专门的奇偶校验驱动器来容纳冗余信息息，以保证数据的安全 一般至少需要三块磁盘：两块用于延展，一块作为专门的奇偶校验驱动器 RAID 3是把数据分成多个“块”，按照一定的容错算法，存放在N+1个磁盘上，实际数据占用的有效空间为N个磁盘的空间总和，而第N+1个磁盘上存储的数据是校验容错信息 当这N+1个磁盘中的其中一个磁盘出现故障时，从其他N个磁盘中的数据也可以恢复原始数据，这样，仅使用这N个磁盘也可以带伤继续工作（如采集和回放素材），当更换一个新磁盘后，系统可以重新恢复完整的校验容错信息 数字媒体资产管理

19 硬盘存储模式 RAID 5模式 RAID 5和RAID 3的原理非常类似，磁盘的有效使用空间也是一样的，只是其算法以及数据分块方式有所不同
数字媒体资产管理

20 硬盘存储模式 RAID 0+1 (RAID 10)模式 复合使用RAID 0是为了提高磁盘性能，使用RAID 1为了提高容错性能
数字媒体资产管理

21 硬盘存储模式 RAID级别的选择有三个主要考虑因素：可用性（数据冗余）、性能和成本
如果可用性、成本和性能都同样重要，则根据一般的数据传输和磁盘的数量选择RAID 3、RAID 5 在数字媒体资产的存储应用中，RAID 3比较适合大文件类型且安全性要求较高的应用，视频编辑、磁盘播出机、大型数据库等；而RAID 5适合较小文件的应用，如文字、图片、小型数据库等 数字媒体资产管理

22 光盘存储模式 DVD是新一代的大容量存储设备，其特点是寿命长、性能稳定、技术成熟
容量与种类 单层DVD的存储容量是4. 7 GB，可存放132分钟的MPEG_2标准的影片 双层双面技术的DVD光盘存储容量达17 GB，能连播放8小时的广播级节目 蓝光光碟（Blu-ray Disc，简称BD）用以存储高品质的影音以及高容量的数据存储，一个单层的蓝光光碟的容量为25或是27GB DVD可分为只读( DVD-ROM)、只写一次(DⅥ)-R)和可重写(DVD-RAM)三种 数字媒体资产管理

23 磁带技术 传统的数据保护方式: 磁带驱动器 世界上第一台计算机磁带驱动器：IBM 726 (1953) 汇聚了50多年磁带技术研发的精髓
容量 – 提升4000倍 可靠性 – 提升150倍 200 MB 800,000 MB Refer to the IBM paper “Fifty Years of Tape” for interesting first-person discussion of why IBM chose magnetic tape as a replacement for paper punch cards, and the advances in tape over the past 50 years MTBF 25,000 hours 10% Duty Cycle MTBF 250,000 hours 100% Duty Cycle IBM 2401 HP 88780 IBM 3592 IBM LTO-4 数字媒体资产管理

24 磁带技术的发展历程 1949 年 ，磁带从实验室诞生 1952 年，第一个磁带单元 问世
1974 年，首部自动化磁带存储设备-3590 大容量磁带子系统（MSS）诞生。 1984 年 ，首款方形磁带盒代替传统的圆轴磁带 1996年SONY推出AIT磁带技术 20世纪90年代末，推出LTO磁带技术 2001年推出Super DLT（SDLT）格式 2002年SONY推出S-AIT技术，单盘容量500GB 2003年推出第二代LTO产品，单盘容量200GB;推出第三代SDLT产品-SDLT600 2005年推出第三代LTO产品，单盘容量400GB; 2007年推出第四代LTO产品，单盘容量800GB; 磁带技术的发展历程 1949 年 ，磁带从实验室诞生，，仅用于少数的广播节目。 第一个磁带单元 IBM 726于 1952 年问世 1974 年，首部自动化磁带存储设备 大容量磁带子系统（MSS）诞生。 1984 年 ，首次外形上方形磁带盒代替了传统的圆轴磁带 1996年SONY推出AIT磁带技术(Advanced Intelligent Tape ) 20世纪90年代末，IBM、HP、SEAGATE推出LTO磁带技术 2001年推出Super DLT（SDLT）格式 2002年SONY推出S-AIT技术 数字媒体资产管理

25 为什么磁带技术50年长盛不衰? 50多年历史，证明磁带技术稳定可靠 可重复使用，便于移动运输, 没有更好的方式出现替代磁带
磁带容量和传输速率方面持续稳定的增长 可重复使用，便于移动运输, 没有更好的方式出现替代磁带 保存寿命长，超过30年 容量高，成本低 ： 单盘容量高达500GB 每MB存储成本低于半美分 现在，每GB的成本将低于5美分 允许无人操作的自动备份、存储 Tape is not bad. It serves a vital purpose in the datacenter. Anything that sustains for 50 years in the IT world must be viable. As shown later in this presentation, 1.75 Million tape drives and 100,000 tape libraries were shipped in 2004. 数字媒体资产管理

26 磁带存储技术的主要应用 数据备份 数据归档及海量存储 灾难导致存储数据被破坏或完全丢失 系统管理员及维护人员的误操作；
计算机设备故障，其中包括存储介质的老化、失效 病毒感染造成的数据破坏 Internet上“黑客”的侵入和来自内部网的蓄意破坏 数据归档及海量存储 大数据量 长期保存 访问频率低 磁带技术的应用领域 数字媒体资产管理

27 数据流磁带存储模式 所谓数据流磁带是按分类方法区别于启停方式的一种磁带记录格式，它将数据连续地写在磁带上，每个数据块间插入记录间隙，使磁带机在数据块间不启停，从而简化了磁带机的结构 数据流磁带是一种基于字节流方式传输的设备，其传输速率和运行是稳恒的。所以为了与输出速率适配，通常需要将磁带上的数据复制到硬盘上，然后由硬盘输出到实际需要数据的外部设备 数据流磁带是以磁带的宽度为标准，大体上可以分为三大类型：第一类是1/2英寸磁带技术，如3590、9840、LTO、DLT/SDL等；第二类是8毫米磁带技术，如AIT、Mammoth等；第三类包括非标准磁带技术，如DTF、DST等 数字媒体资产管理

28 数据流磁带存储模式 数字媒体资产数字化存储的需求往往需要几十TB、几百TB甚至PB级的容量。目前数据流磁带机技术向着更大容量、更快速度、更小空间、更高可靠性以及智能化的方向发展，因此数据流磁带库已成为影视处理中心、媒体资料库必需具备、不可替代的存储设备 磁带存储从自动加载向磁带库方向发展，从小型库向大型库发展；磁带库通过SAN （Storage Area Network）系统 可形成网络存储系统，让用户轻 松实现远程数据访问、数据存储 备份，或通过磁带镜像技术实现 多磁带库备份 SONY DMS-8400 超大型数据流磁带库 数字媒体资产管理

29 存储模式综述 综上所述的分析可以看出，数字媒体资产管理较为理想的存储模式为： 选用DVD光盘塔或数据流磁带作为近线存储介质
硬盘阵列作为在线存储介质 数据流磁带作为离线存储介质 数字媒体资产管理

30 2. 数字媒体资产的存储格式 存储格式的选择应权衡质量和压缩效率。存储格式（压缩格式）选择应遵循的主要原则有：
信号质量必须能够满足编辑和再利用的要求； 在保证信号质量要求的前提下，尽量提高压缩效率，降低存储和数据传输成本； 压缩格式要具有兼容性和开放性，确保在与其他格式进行转换时损失较小以适应媒体其他业务的需要； 存储格式应具有较长的生命周期等 数字媒体资产管理

31 2. 数字媒体资产的存储格式 压缩方式 压缩特点 适用范围 M-JPEG 支持无损压缩或者非常低的压缩比，支持场 方式，压缩效率低，帧内压缩
编辑 MPEG-2-I帧 帧内压缩，压缩效率低，IMX支持二倍速采集 MPEG-2-IBP 帧间压缩，压缩效率高 播出、存储、传输、编辑 MPEG-1 可变码率帧间压缩，可变画面大小，压缩效率高，VHS质量 软编和网络浏览 MPEG- 4 压缩优化针对低码率，是面向对象的内容描述 数字媒体资产管理

32 2. 数字媒体资产的存储格式 MPEG-4 MPEG-4在制订时是定位为窄带网络（Internet、移动网络等）提供视音频服务。MPEG-4音频编码的优越之处在于，它不仅支持自然声音，而且支持合成声音。MPEG-4的音频部分将音频的合成编码和自然声音的编码相结合，并支持音频的对象特征从而保证了低码率下的音频质量 在一般情况下，800Kbps的MPEG- 4与1.5Mbps的MPEG-1、3.5Mbps的MPEG-2-IBP420、4.5Mbps的MPEG 、6Mbps的M-JPEG图像质量相当 数字媒体资产管理

33 2. 数字媒体资产的存储格式 结论： 在媒体资产管理系统中，视音频数据可以采用不同的存储格式以适应不同业务和应用的需要。
用于交流共享的高画质并且长期保存的媒体资料使用MPEG-2-I帧、MPEG-2-IBP帧文件格式存储 同时建立一个镜像的低码流MPEG-1、MPEG- 4格式文件，或ASF/GZ和JPEG格式文件，用于媒体资料下载粗编、浏览、检索 数字媒体资产管理

34 3. 存储技术和架构 直接连接存储 （DAS） 网络连接存储 （NAS） 存储区域网 （SAN） 基于IP的网络存储技术（iSCSI）
数字媒体资产管理

35 DAS ( 直接连接存储) 直接连接存储（DAS，Direct Attached Storage）是数据存储领域产生最早、发展时间最长的传统数据存储方式 直接连接存储是将磁盘存储设备直接通过电缆连接到服务器的方式 主要应用于单机或两台主机的集群环境中 数字媒体资产管理

36 DAS ( 直接连接存储) 主要优点是存储容量扩展简单，投入成本少，见效快 主要弊端 存储设备只能与一台服务器直接连接，只由这台服务器使用
用户要备份数据和存储数据，都要占用服务器CPU的时间，从而降低了服务器的管理效能；随着服务器的增多，数据管理会越来越复杂，工作量不断增加 如果增加存储设备，扩展存储容量，需要对服务器进行重新配置，这样做容易中断业务连续性，造成数据丢失 数字媒体资产管理

37 网络连接存储 网络连接存储（NAS，Network Attached Storage）是一种基于局域网的，在存储设备端提供基于网络访问的文件级服务的网络存储技术。其体系结构如图所示。图中采用了RAID，此外也可根据需要采用前述其它存储设备。 数字媒体资产管理

38 NAS (网络存储) 网络连接存储（Network-attached storage, NAS）是一种连接到局域网的基于IP的文件共享设备；一台专用服务器为网络提供档案管理服务 通常服务器会为用户提供 NFS, CIFS, 或 NetWare 存储空间，而利用 TCP/IP 作网络协议 HP Windows Sun NAS uses TCP to connect to end nodes to a specialized 服务器 optimized to give access to files. NAS Ethernet SCSI DATA 数字媒体资产管理

39 网络连接存储 NAS提供服务器整合的优势，消除了对多个文件服务器的需求 NAS通过文件级的数据访问和共享，提供存储的整合
数字媒体资产管理

40 NAS实务 怎么用NAS 给大家演示一下，让大家有一个感观上的认知 1.初始化NAS（分配IP、添加系统管理员）
数字媒体资产管理

41 NAS整体结构 FTP FTP 数字媒体资产管理

42 几个关键概念 远程文件共享 NAS设备 NAS分类 NAS I/O操作 NAS的优势 影响NAS性能和可用性的因素 数字媒体资产管理

43 远程文件共享 远程文件共享是指在网络上进行文件存储和访问 例子： 在所有这些实现中，用户其实并不知道文件系统的实际所在位置——也不需要知道
文件传输协议（File Transfer Protocol，FTP） 分布式文件系统（Distributed File System，DFS） 由文件共享协议实现的传统的客户/服务器模型。在这种模型中，客户将专用文件服务器上的远程文件系统挂载到本地。标准的客户/服务器文件共享协议包括UNIX上的NFS和Windows上的CIFS 在所有这些实现中，用户其实并不知道文件系统的实际所在位置——也不需要知道 比如FTP——知道它的IP或者域名就可以了 数字媒体资产管理

44 几个关键概念 远程文件共享 NAS设备 NAS分类 NAS I/O操作 NAS的优势 影响NAS性能和可用性的因素 数字媒体资产管理

45 NAS设备 硬件方面： 软件方面（以固件方式存在） NAS头（包括CPU和内存）；
一个或多个网络接口卡（NIC）提供网络连接，其中包括千兆以太网、快速以太网、ATM和光纤分布式数据接口（FDDI）等类型 工业标准存储协议，用于连接和管理物理磁盘资源，例如ATA、SCSI或FC等 软件方面（以固件方式存在） 一个优化过的操作系统，用于管理NAS的功能； NFS和CIFS协议，用于文件共享； NAS环境还包括客户端，它们通过采用标准协议的IP网络对NAS设备进行访问 数字媒体资产管理

46 通用服务器与NAS设备 NAS设备是专为文件服务功能进行优化的设备，例如存储、检索以及为应用程序和客户端提供文件存取功能等。
通用服务器可以运行任何应用程序，因为它使用的是通用操作系统。 与通用服务器不同，NAS设备是专用于文件服务的。它采用实时操作系统，使用开放标准的协议，专用于提供文件服务。一些NAS厂商的产品支持诸如高可用的本地集群等特性。 数字媒体资产管理

47 几个关键概念 远程文件共享 NAS设备 NAS分类 NAS I/O操作 NAS的优势 影响NAS性能和可用性的因素 数字媒体资产管理

48 NAS分类 集成式NAS 集成式NAS设备在一个单独的容器或机柜中集中了所有NAS组件，包括NAS头和存储器等。这使得集成式NAS成为一个自包含的环境。 网关式NAS 网关式NAS设备由独立的NAS头和一个或多个存储阵列组成。NAS头与集成式解决方案中的一样，发挥着同样的功能；同时存储器与其他应用程序共享，满足它们的块级I/O的需求。 网关式NAS设备的NAS头和存储阵列可以独立地根据需求进行扩展升级。可扩展性最高。 数字媒体资产管理

49 NAS分类 集成式NAS的连接方式 在一些方案中，存储器是嵌入到NAS设备中的，并且通过内部链路连接到NAS头上，例如ATA或SCSI控制器。 在其他一些方案中，存储器可能是外置的，并且通过SCSI控制器与NAS头连接。 数字媒体资产管理

50 NAS分类 网关式NAS的连接方式 一个集成式环境拥有固定数量的NAS头，使其可以相对容易地确定IP网络方面的需求。相反地，由于网关式环境存在可扩展性需求，网络需求的确定则相对比较复杂。增加更多NAS头可能需要更多的网络连接和网络带宽。 在网关式解决方案中，NAS网关和存储系统间通过传统的FC SAN进行通信。为了部署一个稳定的NAS解决方案，必须考虑多路径数据访问、冗余架构以及负载分配等因素。 数字媒体资产管理

51 几个关键概念 远程文件共享 NAS设备 NAS分类 NAS I/O操作 NAS的优势 影响NAS性能和可用性的因素 数字媒体资产管理

52 NAS I/O操作 NFS和CIFS协议对发送到由NAS设备管理的远程文件系统上的文件I/O请求进行处理。NAS的I/O过程如下。
1．请求者将一个I/O请求封装成TCP/IP报文，通过网络协议栈进行转发。NAS设备从网络上接收请求。 2．NAS设备将I/O请求转换为一种对应的物理存储请求，即块级I/O请求，然后对物理存储池执行相应操作。 3．当数据从物理存储池返回时，NAS设备对其进行处理并封装为相应的文件协议响应。 4．NAS设备将这个响应封装成TCP/IP报文，通过网络转发给用户。 数字媒体资产管理

53 几个关键概念 远程文件共享 NAS设备 NAS分类 NAS I/O操作 NAS的优势 影响NAS性能和可用性的因素 数字媒体资产管理

54 NAS的优势 支持全面信息存取：使得文件共享更加高效，支持NAS设备和客户端的多对一和一对多的配置方案。多对一配置使得NAS设备可以同时服务多个客户。一对多配置使得一个客户可以同时连接多个NAS设备 提高效率：消除了通用文件服务器在文件存取过程中的性能瓶颈。因为NAS使用的是为文件服务特制的操作系统，它将通用服务器从繁重的文件服务操作中解脱出来，提高了通用服务器的利用率 增强灵活性：通过使用工业标准协议，NAS同时兼容UNIX和Windows平台的客户端。NAS的灵活性使其能够为不同的请求提供服务，这些请求可以是来自同一源端的不同类型的客户 数字媒体资产管理

55 NAS的优势 集中式存储：集中式数据存储将客户工作站上的数据冗余降低到最小，简化了数据管理，确保了更强的数据保护能力
管理简单化：提供一个集中化的控制台，使得文件系统的管理更加高效 可扩展性：NAS的高性能和低延迟设计，使得它能够针对不同的使用特征和商业应用类型进行部署，具有良好的可扩展性 高可用性：提供高效的备份和恢复选项，使得数据具有更高的可用性。NAS使用冗余网络组件，提供可选的最大连接能力。NAS设备可以使用集群技术来进行失效切换 数字媒体资产管理

56 几个关键概念 远程文件共享 NAS设备 NAS分类 NAS I/O操作 NAS的优势 影响NAS性能和可用性的因素 数字媒体资产管理

57 影响NAS性能和可用性的因素 由于NAS使用了IP网络，IP带来的带宽和延迟等问题会影响NAS的性能。在NAS环境里，网络拥塞是其中最明显的延迟来源 其他不同程度地影响NAS性能的因素有以下几点: 文件/目录查找和元数据请求 数据包跳转次数 数据包重传 设备过载。过载的路由器和交换机、过载的NAS设备、过载的客户端 数字媒体资产管理

58 存储区域网络 存储区域网络（SAN，Storage Area Network）位于服务器后端，为连接服务器、存储设备而建立起一个专用数据网络，提供数据存储服务。其体系结构如图所示 SAN特别适合于服务器集群、灾难恢复等大数据量传输的领域。 数字媒体资产管理

59 SAN (存储区域网络) 定义: 一个以连接存储设备及服务器为主要目的而设计和建立的专用网络，一般运行SCSI协议。这种结构可以抒缓企业网络的压力 DAS 的优点 简易 快速 (5ms) 已广泛应用 安全 所有驱动程式齐备 为甚麽不采用? DAS 的缺点 不能重新分配 不能重新配置 没有集中管理 没有集中备份 扩充容量会有困难 增加存储设备会拖慢服务器 NAS 的缺点 加重网络的负担 存储需求增大时，需要再购置额外的NAS机组 数字媒体资产管理

60 光纤 SAN SAN LAN SAN是一种存储架构，服务器利用光纤网络使用存储资源
通常在光纤(FC-AL or FC-SW)背後使用SCSI协议 数据块在应用服务器内编排成档案 SCSI DATA LAN SAN A fiber Channel SAN is a separate network from the LAN. The SAN moves data in blocks from storage such as RAIDs to file and application 服务器s which in turn present that data in file form to the end user systems. Fibre Channel Ethernet 数字媒体资产管理

61 三种存储架构的比较分析 类型 项目 DAS NAS SAN 1.软件安装 一般 简单 复杂 2.文件共享 差 好 很好 3.存储操作系统
非独立 独立 4.存储数据方式 分散 集中 5.系统管理 简单，不易扩展 简单，更易扩展 6.扩充性 7.传输效率，占用带宽 多 少 8.备份与数据恢复 备份恢复麻烦 备份恢复方便 备份恢复集中管理好 9.总拥有成本 高 较低 低 10.应用环境 适应地理上分布的环境 适应分布式异构环境 适应海量存储 数字媒体资产管理

62 NAS 和SAN比较 NAS 和SAN最大的区别就在于NAS有文件操作和管理系统，而SAN却没有这样的系统功能，其功能仅仅停留在文件管理的下一层，即数据管理。从这些意义上看，SAN和NAS的功能互为补充，同时SAN的服务器访问数据的时候不会占LAN的资源，但是NAS结构的服务器都需要和文件服务器进行交互，以取得自己请求的数据，因此，NAS结构在速度慢的LAN（如10/100M网络）上几乎不具有任何优势和意义。 由于G位和10G位以太网的出现，使得NAS结构的这一缺陷自然消失，NAS方案获得了巨大的生命力和发展空间，同时SAN和NAS相比不具有资源共享的特征 数字媒体资产管理

63 基于IP的网络存储技术 目前基于IP的存储网络的核心技术是iSCSI（IP Small Computer System Interface），这是一种开放协议，其基本结构是在SCSI的数据包上加入TCP/IP协议 IP存储网络结合了NAS和SAN两者的优点：一方面它采用TCP/IP作为网络协议，使得它具有NAS易于访问的特点；另一方面它又有独立专用的存储网络结构，基于IP的存储网络可以使用以太网技术和设备来构建专用的存储网络 数字媒体资产管理

64 基于IP的网络存储技术 此外，基于IP的网络存储还具有以下优点：
由于IP技术没有距离限制，而且可以同时支持SAN/LAN/WAN，所以基于IP存储网可支持远距离备份和恢复 光纤通道与IP交换机间的互连可以解决互操作性方面的问题 数字媒体资产管理

65 基于IP的网络存储技术 现阶段基于IP的网络存储主要缺点在于： 目前基于IP的存储网技术还没有成熟的工业标准，都处于讨论阶段
虽然基于IP的存储网主要用于广域网环境，但也应该考虑端到端基于IP的SAN的应用，因此必须在IP路由器上提供光纤通道到10G的桥接转换，这是一个不小的负担 数字媒体资产管理

66 4. 数字媒体资产的分级存储策略 分级存储的概念 即在线存储、近线存储、离线存储和混合存储 1．在线存储
在线存储是指存储设备永久连接在计算机系统中，并随时保持可实时快速访问的状态，在线存储设备一般采用磁盘阵列 在线存储的成本较高，使其存储容量受到一定的限制，但其响应速度快、读写速率高、传输码率大、文件易于检索 对于近期采集的媒体素材、编辑好的资料、准备播出的内容薛和供VOD点播的节目等采用在线存储 数字媒体资产管理

67 4. 数字媒体资产的分级存储策略 分级存储的概念 2．离线存储
离线存储是指存储设备或存储介质平时没有装在计算机系统中，在存取数据时需要将存储设备或存储介质临时性地装载或连接到计算机系统中，数据访问完成后可以脱开连接 离线存储一般将视音频素材或信息记录在传的数字磁带上，然后将磁带存放在磁带库内，利用编目和条码技术来人工识别需要内容的存储方式 优点是存储容量大、存储成本低廉。其缺点是存储寿命有限，对存储的环境要求较高，可而且无法快速随机检索查询 数字媒体资产管理

68 4. 数字媒体资产的分级存储策略 分级存储的概念 3．近线存储
近线存储介于在线存储和离线存储之间，既可以做到较大的存储容量，又可以获得较快的存取速度。近线存储设备一般采用自动化的数据流磁带或者光盘塔，其存储的视音频数据经过了数字压缩编码，用于存储那些与在线设备发生频繁读写交换的内容 数字媒体资产管理

69 4. 数字媒体资产的分级存储策略 分级存储的概念 4．混合存储
混合存储是以上三种存储方式的混合，这是目前比较流行的做法。因为它能提供最好的性能价格比 例如联网的RAID硬盘阵列存储能连接到自动化的近线数据磁带库，而同时离线存储的数字录像带能用作离线时的编辑 数字媒体资产管理

70 4. 数字媒体资产的分级存储策略 分级存储的概念 多级存储策略
在分级存储结构中，数字磁带库等成本较低的存储资源用来存放访问频率较低的数字内容，而磁盘阵列等成本高、速度快的设备用来存储经常要访问的数字内容 数字媒体资产管理

71 4. 数字媒体资产的分级存储策略 分级存储的网络结构原理 1.数据迁移原理
在分级存储系统中，通过存储管理软件中各种可设定的迁移策略将离线存储、近线存储和在线存储设备管理起来 数据的存储和迁移均由后台服务软件控制进行。系统的迁移可以充分利用空闲时段，集中处理数据迁移，以提高系统网络带宽的利用效率 数字媒体资产管理

72 4. 数字媒体资产的分级存储策略 分级存储的网络结构原理 2.以主机为中心的存储结构原理 数字媒体资产管理

73 4. 数字媒体资产的分级存储策略 分级存储的网络结构原理 3．以SAN为中心的存储结构原理 数字媒体资产管理

74 4. 数字媒体资产的分级存储策略 在数字媒体资产管理中，基于SAN应用主要有： 分布式文档中，对音视频文件及元数据的归档和访问
非线编应用的文件共享 实时播放和传输的本地或远程控制，远程视频流的现场投稿 节目交换 视频传送的视频点播或电子商务应用 数字媒体资产管理

75 4. 数字媒体资产的分级存储策略 分级存储的网络结构原理 存档化数据迁移管理 数字媒体资产管理

76 5.数字媒体资产存储系统设计原则 存储系统设计的基本原则 1．实用性 2．先进性 3．可扩展性 4．安全性 5．可管理性 6．开放性
数字媒体资产管理

77 5.数字媒体资产存储系统设计原则 不同存储技术相结合的原则 将硬盘技术、数据流磁带技术和光盘塔技术结合起来可以达到更优的性能，同时能节省成本
在结合不同的存储方式时，要使得所选择的组件、网络和结合的架构没有控制、带宽或其他方面的瓶颈 各种存储方案在传输数率方面的兼容性是非常重要的，以保证过载时不会发生数据丢失 数字媒体资产管理

78 本章小结 对数字媒体资产的存储介质进行了分析比较，包括硬盘存储模式、光盘存储模式、数据流磁带存储模式。不同的存储介质适用场合不同
阐述了压缩编码技术，对不同的存储格式（压缩标准）进行了比较 讨论了数字媒体资产的存储技术和架构 讨论了数字媒体资产的分级存储策略，包括分级存储的概念、分级存储的网络结构原理 给出了数字媒体资产存储系统的设计原则 数字媒体资产管理