云存储的应用及未来
云存储是什么? 云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。 当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。保证数据的安全性,并节约存储空间。
云存储的结构模型 存储层 存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备,可以是NAS和 iSCSI等IP存储设备,也可以是 SCSI或SAS等 DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域,彼此之间通过广域网、互联网或者 FC光纤通道网络连接在一起。 存储设备之上是一个统一存储设备管理系统,可以实现存储设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护。 应用接口 应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台,远程数据备份应用平台等。 访问层 任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。云存储运营单位不同,云存储提供的访问类型和访问手段也不同。 基础管理 基础管理层是云存储最核心的部分,也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。
云存储应用的前提 1、宽带网络的发展 真正的云存储系统将会是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用系统,使用者需要通过ADSL、DDN等宽带接入设备来连接云存储,而不是通过FC、 SCSI或以太网线缆直接连接一台独立的、私有的存储设备上。只有宽带网络得到充足的发展,使用者才有可能获得足够大的数据传输带宽,实现大量容量数据的传输,真正享受到云存储服务,否则只能是空谈。
云存储应用的前提 2、WEB2.0技术 Web2.0 注重用户的交互作用,用户既是网站内容的浏览者,也是网站内容的制造者。所谓网站内容的制造者是说互联网上的每一个用户不再仅仅是互联网的读者,同时也成为互联网的作者;不再仅仅是在互联网上冲浪,同时也成为波浪制造者;在模式上由单纯的“读”向“写”以及“共同建设”发展;由被动地接收互联网信息向主动创造互联网信息发展,从而更加人性化 Web2.0 技术的核心是分享。只有通过web2.0技术,云存储的使用者才有可能通过 PC、手机、移动多媒体等多种设备,实现数据、文档、图片和视音频等内容的集中存储和资料共享。Web2.0技术的发展使得使用者的应用方式和可得服务更加灵活和多样。
云存储应用的前提 三、应用存储的发展 云存储不仅仅是存储,更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备,它不仅具有数据存储功能,还具有应用软件功能,可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量,从而降低系统建设成本,减少系统中由服务器造成单点故障和性能瓶颈,减少数据传输环节,提供系统性能和效率,保证整个系统的高效稳定运行。
云存储应用的前提 四、集群技术、网格技术和分布式文件系统 云存储系统是一个多存储设备、多应用、多服务协同工作的集合体,任何一个单点的存储系统都不是云存储。 既然是由多个存储设备构成的,不同存储设备之间就需要通过集群技术、分布式文件系统和网格计算等技术,实现多个存储设备之间的协同工作,多个存储设备可以对外提供同一种服务,提供更大更强更好的数据访问性能。如果没有这些技术的存在,云存储就不可能真正实现,所谓的云存储只能是一个一个的独立系统,不能形成云状结构。
云存储应用的前提 五、CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术 数据压缩技术和重复数据删除技术有效加大了云存储的储备量,使更多用户能够参与其中。 数据加密技术通过各种数据备份和容灾技术保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。
云存储应用的前提 六、存储虚拟化技术、存储网络化管理技术 云存储中的存储设备数量庞大且分布多在不同地域,如何实现不同厂商、不同型号甚至于不同类型(如FC存储和 IP存储)的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题,这个问题得不到解决,存储设备就会是整个云存储系统的性能瓶颈,结构上也无法形成一个整体,而且还会带来后期容量和性能扩展难等问题。 云存储中的存储设备数量庞大、分布地域广造成的另外一个问题就是存储设备运营管理问题。虽然这些问题对云存储的使用者来讲根本不需要关心,但对于云存储的运营单位来讲,却必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障维护难、人力成本高等问题。因此,云存储必须要具有一个高效的类似与网络管理软件一样的集中管理平台,可实现云存储系统中设有存储设备、服务器和网络设备的集中管理和状态监控。
备份策略配置和同步流程图
备份恢复流程图
云存储技术与传统存储技术的区别 由于数据量的激增,数据的索引效率也变得越来越为人们关注。而动辄上TB的数据。甚至是几百TB的数据,在索引时往往需要花上几分钟的时间。 传统的存储技术是把所有数据都当作对企业同等重要和同等有用来进行处理,所有的数据集成到单一的存储体系之中,以满足业务持续性需求。但是在面临大数据时就显得捉襟见肘: 成本激增。在大型项目中,前端图像信息采集点过多,单台服务器承载量有限,就造成需要配置几十台,甚至上百台服务器的状况。这就必然导致建设成本、管理成本、维护成本、能耗成本的急剧增加。 磁盘碎片问题。由于视频监控系统往往采用回滚写入方式,这种无序的频繁读写操作,导致了磁盘碎片的大量产生。随着使用时间的增加,将严重的影响整体存储系统的读写性能,甚至导致存储系统被锁定为只读,而无法写入新的视频数据。
云存储技术与传统存储技术的区别 与传统存储相比,云存储则具有以下几点突出的优势: 量身定制。这个主要是针对于私有云。云服务提供商专门为单一的企业客户提供一个量身定制的云存储服务方案,或者可以是企业自己的IT机构来部署一套私有云服务架构。私有云不但能为企业用户提供最优质的贴身服务,而且还能在一定程度上降低安全风险。 成本低。就目前来说,企业在数据存储上所付出的成本是相当大的,而且这个成本还在随着数据的暴增而不断增加。为了减少这一成本压力,许多企业将大部分数据转移到云存储上,让云存储服务提供商来为他们解决数据存储的问题。这样就能花很少的价钱获得最优的数据存储服务。 管理方便。其实这一项也可以归纳为成本上的优势。因为将大部分数据迁移到云存储上去后,所有的升级维护任务都是由云存储服务提供商来完成,节约了企业存储系统管理员上的成本压力。还有就是云存储服务强大的可扩展性,当企业用户发展壮大后,突然发现自己先前的存储空间不足,就必须要考虑增加存储服务器来满足现有的存储需求。而云存储服务则可以很方便的在原有基础上扩展服务空间,满足需求。
云存储优点总结 1、节约成本 2、更好的备份本地数据并可以异地处理日常数据 3、自动的故障切换 4、存储设备升级不会导致服务中断 5、容量分配不受物理硬盘限制 6、及时提供容量的扩展 7、海量并行扩容 8、统一的对外名称9、负载均衡 10、容易管理
云存储的功能 云存储提供的诸多功能和性能旨在满足伴随海量非活动数据的增长而带来的存储难题: 随着容量增长,线性地扩展性能和存取速度。 将数据存储按需迁移到分布式的物理站点。 确保数据存储的高度适配性和自我修复能力,可以保存多年之久。 确保多租户环境下的私密性和安全性。 允许用户基于策略和服务模式按需扩展性能和容量。 改变了存储购买模式,只收取实际使用的存储费用,而非按照所有的存储系统,包含未使用的存储容量,来收取费用。
云存储的主要用途 个人应用 企业应用
个人应用 网络硬盘 传统网盘首先实现的是基础的存储功能,继而是共享功能;个人云存储产品则在吸收前者功能的基础上,推出了同步功能以应对用户数据迁移与管理的需求。所谓的同步是指,能够实现个人数据在联网的情况下实现手机、PC、平板电脑,甚至互联网电视之间的同步存储和更新。目前,金山快盘通过与康佳智能电视产品的合作,让用户能够实现数据贯通个人所有智能终端平台。 除此以外,个人云存储产品提供了更多的附加功能,比如金山快盘提供的MSN聊天记录备份、同步IE收藏夹与备份照片功能,再如酷盘Android版本提供的通讯录备份功能。从这些功能可以看出,个人云存储厂商不满足于仅保存用户的文档,开始深挖用户需求,力争做到用户个人数据的全备份。
个人应用 个人云存储产品与传统网盘在技术实现上也有很多差异。如个人云存储产品往往在内容存储形态、安全功能设计上较传统网盘产品体现出很大的优势。不同于很多打着“云”字眼的互联网产品,个人云存储产品真正实现了分布式数据存储、多服务器冗余部署等特点。而传统网盘由于存储了海量的大容量公共内容,如果使用多服务器冗余部署、分布式存储都会带来沉重的带宽和存储成本,因此往往仅在单服务器上存储用户文件,在这种情况下一旦数据出现丢失,绝无找回数据的可能。 此外,个人云存储产品的安全功能设计也很出色,通过对用户存储的内容进行加密,即使服务器存储单元出现丢失,用户的信息也绝无泄露的可能,同时用户可通过冗余备份服务器找回自己的数据。目前个人云存储产品中,金山快盘在安全设计上做的最为较为出色,将用户的文件分段分割并进行加密,存储于多地的不同服务器存储单元中,最大程度保障了用户的数据和隐私安全。据了解金山快盘使用了AES-256高强度的密钥算法进行加密,数据的破解几乎不可能。另外,个人云存储产品也强调保障用户上传数据的通道安全,采用SSL协议将个人用户与远程云端服务器相连,可以保证用户的操作不受第三方的非法监听。
企业应用
企业应用
企业应用
云存储所存在的隐患 从功能实现上来讲,异地文件存取与文件分享共步技术早上互联网形成之初就已经得到应用,上个世纪初互联网刚刚进入国内时就有厂商提供过网盘服务,当时所谓的网盘并不是现在大家所熟知的网络虚拟磁盘,当时的网盘更像是一个SVN或FTP的客户端,而今十多年的发展以后,融入了移动互联网营销理念与新技术的“网盘”被包装成了“云存储”高调的出现在大众面前, 据相关统计数据显示国内一线的云存储服务商每天的用户数据新增量已经达PB为单位,可见每天都有数以亿计的用户正在向自己云存储空间中上传下载着各种文件,在这种环境下排除网络带宽消耗之外,我们是否应该反思一下云存储下的未来隐患。
1 版权风险 有关版权问题目前已经大范围的出现在了国内的网盘服务中,一些个人或团体会将以影视音乐为主体的文件通过云存储的客户端上传至网盘中,然后通过分享的方式对圈子内提供下 载,大量的有版权的视频音乐被这种特殊盗版方式进行传播, 而且这种传播方式暂时属于监管的空白,部分云存储提供商在版权单位的压力下开始限制链接分享的范围,加强文件的过滤。但是这些手段目前不能从根本上解决云存储中用户上传文件的盗版传播。而要建立起一整套影视文件数字指纹签名检验系统除了庞大的研发的运维成本外,各个利益团体之间的技术标准统一也是短期内难以统一的,但是在问题得到解决之前, 此刻这种分享还在进行中,面临侵权问题不仅是用户还是云存储的提供商。
2 个人隐私 有很多移动平台用户喜欢随时将自己用手机或平板拍摄的照片与视频通过云存储快速上传到网盘中,这样可以非常快捷的通过WEB或PC客户端在异地甚至即时取回照片,但是大家可能不太相信的是你上传的每一张照片或其他文件都有可能是云存储的服务端是明文保存的,据参与过某云存储项目开发的人员介绍从目前运维成本上考虑实现私钥加密不太现实,管理员可以服务端的平台中直接查看和删除用户上传的文件,这些文件中不泛用户的机密文件或用户私隐,现阶段大型服务端都是通过建立严格的制度体系来约束管理人员的职业操守,但是谁又能防止如棱镜计划这样的个人隐私问题出现呢?
3 数据安全 从数据安全上分两个方面分析, 1.用户的操作安全。目前大多数的云存储都设计了多客户端数据同步机制,一般以最后一次更新为标准, 其他客户端开启时自动同步, 这点与SVN的设计有很大的差别, 当一个用户在公司编辑某个文件后,回到家中再次编辑,那么当他再次回到公司时文件已是昨晚在家更新过的,这是理想状态下的,在很多时候用户编辑一个文件后,会发现编辑有误,想取回存在公司的文件版本时,可能在没有支持版本管理云存储中你的附本也已经被错误的更新了,同样的道理你删除一个文件时候,如果没有额外的备份,也许你到网盘回收站中再找了,版本管理技术上并不存在问题,但是会加大用户的操作难度,目前的云存储服务商只有少数的私有云提供商有限的支持,多数情况下这种覆盖是时常发生的。 2.服务端的安全操作:云存储服务器早已经成为了黑客入侵的目标,因为服务器上不仅有无穷用户数据,对此类大用户群服务的劫持更加是黑色收入的重要来源,也就是说服务器的安全性直接影响着用户上传数据的安全,在服务器虚拟化技术的支撑下V2V迁移的可靠性相当高,多数的云存储厂商都预备安全防护方案,但是不能忽视的永远人的操作。
云存储的分类 1.公共云存储 像亚马逊公司的Simple Storage Service(S3)和Nutanix[1]公司提供的存储服务一样,它们可以低成本提供大量的文件存储。供应商可以保持每个客户的存储、应用都是独立的,私有的。其中以Dropbox为代表的个人云存储服务是公共云存储发展较为突出的代表,国内比较突出的代表的有搜狐企业网盘,百度云盘,移动彩云,金山快盘,坚果云,酷盘,115网盘,华为网盘,360云盘,新浪微盘,腾讯微云等。 公共云存储可以划出一部分用作私有云存储。一个公司可以拥有或控制基础架构,以及应用的部署,私有云存储可以部署在企业数据中心或相同地点的设施上。私有云可以由公司自己的IT部门管理,也可以由服务供应商管理。 2.内部云存储 这种云存储和私有云存储比较类似,唯一的不同点是它仍然位于企业防火墙内部。 3.混合云存储 这种云存储把公共云和私有云/内部云结合在一起。主要用于按客户要求的访问,特别是需要临时配置容量的时候。从公共云上划出一部分容量配置一种私有或内部云可以帮助公司面对迅速增长的负载波动或高峰时很有帮助。尽管如此,混合云存储带来了跨公共云和私有云分配应用的复杂性。
中国云存储七雄 一、以传统硬件制造商为主导,代表:华为(数据银行 DBank) 二、以门户网站巨头为主导,代表:新浪(微盘) 三、以云端化的传统应用工具为主导,代表:金山(快盘) 四、以网络在线存储空间为主导,代表:115网盘(优蛋) 五、以下载工具为主导,代表:迅雷(随身盘)、FlashGet(袋鼠) 六、以安全工具为主导,代表:360(云盘) 七、以垄断 IM 工具为主导,不用代表,就是:腾讯QQ
中国云存储市场动态 中国目前企业的CIO/CTO对公有云还是存怀疑态度,目前,大约有70%的企业不愿意将企业内的数据放在公有云上,主要是从安全性的角度考虑,但是,数据对于企业业务投入越来越大,会迫使企业特别是对数据安全性非常高的金融业也逐步走向公有云。 国内的企业观念更习惯于花钱购买硬件产品而非服务,作为存储需求最大的政府、电信、金融三个行业,在中国都建有自己的数据中心。 在中小企业市场,目前90%的中小企业在存储采购只有10%的水平,因此,采购云存储能力非常低。 云存储的安全性,需要从法律上对云存储的安全性,可靠性进行约束,需要出现第三方机构帮助企业来对云存储进行审计, 同时,中国相对落后的网络建设制约着云存储的发展
谢谢欣赏!