信息存储与管理 国家天文台 (科技处)信息与计算中心.

Slides:



Advertisements
Similar presentations
高中新课程思想政治(必 修 1 、 2 )的教学体会 北京师大二附中 李文燕 2008 年西城新课程教师培训的讲稿.
Advertisements

《饲料分析与质量检测技术》 说课 主讲教师:管建慧. 课程名称: 《饲料分析与饲料质量检测技术 》 课程编码:
京交会外事活动策划与外宾接待工作总结与体会 WTO 事务中心 ( 联络部 ). 交流内容 外事礼仪 外事活动策划与外宾接待工作总结 经验与体会.
2009/12/211 商務科技管理系 實 務 專 題 報 告 辦桌非難事 學生: 施雅雯 ( ) 張敬芝 ( ) 葉明臻 ( ) 黃怡琅 ( )
天国护照 《使徒信经》 系列活动课程.
云时代的存储技术创新.
目录 1 Click to add Title 存储基础知识 2 Click to add Title 存储产品系统及软件概述 3
成语乐园 成语乐园 执教老师:李道梅.
Information Resource Management
《汽车电工电子技术基础》课程 株洲一职 王伟德
Microsoft Exchange 针对 EMC 存储的最佳做法和设计指导方针
指 导:高歌老师 责任编辑:汤杰林 杜峥 供 稿:课代表 班委会 团长 栏目创编:张廷信 技术编辑:汤杰林 杜峥 常务编辑:杜峥
时间与我们的世界 Pb 段心蕊.
存储基础知识 V1.1.
詹天佑.
北师大版义务教育课程标准实验教科书 七年级上册讲义 第17课 先进的科学技术.
存储行业基础知识.
一百零一年溪口國小 學校日 班級: 三年三班 教師: 張慈麟.
层次化项目教学课程改革研讨 —《网络设备配置与管理》.
送你一只妙笔 —— 作文写作技法之描写 成都十八中 张君.
立體四子棋 研究成員:謝旻諺、 鄭家鈞 指導老師:林屏森老師.
对存储系统发挥特殊作用的文件系统 2006年5月 - 北京.
“三步式”网络学习法 《探究与发现》数学网络学习平台介绍
PB级科研数据集的管理和应用 曙光信息产业(北京)有限公司.
关注热点 2014年天猫双十一成交总额 571亿 点亮217个国家地区
第三章 存储系统 现代计算机系统都以存储器为中心 在计算机运行过程中,存储器是各 种信息存储和交换的中心。
第二章 项目一:企业厂区与车间平面设计 1.
§2 虚拟存储器 1961年英国曼彻斯特大学Kilbrn等人提出 70年代广泛地应用于大中型计算机系统中 目前许多微型机也开始使用虚拟存储器
學年作業標準 原則上以五個人為一組,製作一段FLASH動畫,要完成動畫的標準為: 要定出公司名稱 製作公司LOGO
初中思想品德 规范的教学设计与案例分析.
共产党员致力 新疆油田信息化建设 数据公司信息业务党支部 2013年6月.
SureSave 产品线简介
三創產業學程 學群主持人:袁國榮召集人.
OceanStor V3融合存储配置报价指导书
Founder Technology Group Co.,Ltd.
操作系统 Operating System.
高等职业学校建筑设计类与艺术设计类专业骨干教师实践能力国家级培训
下一个奇迹—— 鼎善商城.
SA120/SAS112/NAS产品介绍 2013 LENOVO INTERNAL. All rights reserved.
复习回顾 2.2 计算机硬件系统 2.1 计算机发展概述 1、芯片组的作用是什么? 1、计算机分为几代?主要元器件是什么?
一年16班 黃佳弘 硬 碟 機 Hard Disk Driver.
第四章 存储器管理.
云存储的应用及未来.
第五章 设备管理 5.1 I/O系统 5.2 I/O控制方式 5.3 缓冲管理 5.4 设备分配 5.5 设备处理 5.6 磁盘存储器管理.
没有请柬该如何办 记者如何选取有利位置 着装 准备工作 提问时的注意事项
3.1能源资源的开发 ——以我国山西省为例.
第四章 卫生管理体制与机制 卫生事业管理学 国家卫生和计划生育委员会“十二五”规划教材 全国高等医药教材建设研究会“十二五”规划教材
一 二 三 四 五 六 七 项目建设总体情况 建设工作机制与举措 项目建设进展 建设经费投入与使用 贡献与示范 典型案例
《体育与健康》说课稿 课题:新兴体育舞蹈 —踢踏舞教学 北师大泉州附中 陈玉慈.
第6章 数媒资产管理系统的存储技术 刘士军 1、光纤通道
2006年10月 面向数据处理的高端系统 胡雷钧 浪潮公司.
淘宝核心系统数据库组 褚霸 /06/25 大话SSD 淘宝核心系统数据库组 褚霸 /06/25.
大纲 高能所的数据密集型科学计算 Lustre在高能所的部署经验 问题和需求.
淘宝核心系统数据库组 余锋 利用新硬件提升数据库性能 淘宝核心系统数据库组 余锋
Pure Storage設備 雲端桌面系統 評估測試與經驗分享
硬盘的种类 计算机.
第2章 電腦硬體的架構及功能.
第2章 電腦硬體知識 2-1 電腦基本硬體結構 2-2 電腦的週邊設備 2-3 電腦的操作與保養
FC储值优惠卡
香港傳統的農村生活.
第七章 半导体存储器.
地質篇 Unit_04_地質年代.
第六章 記憶體.
第五章 虚 拟 存 储 器 5.1 虚拟存储器概述 5.2 请求分页存储管理方式 5.3 页面置换算法 5.4 “抖动”与工作集
7-1 牛頓運動定律 7-2 滑輪 7-3 向心力與離心力 影片連結.
Module_5_Unit_4_ppt Unit4:非线性系统的描述函数法 东北大学《自动控制原理》课程组.
善豐的美術館.
指數、對數函數 數101乙 周文翔 朱哲明 張良聿.
第六章 直接成本法.
李商隐诗两首 锦 瑟 马 嵬 夕阳无限好,只是尽黄昏。.
Presentation transcript:

信息存储与管理 国家天文台 (科技处)信息与计算中心

第四讲 智能存储系统 主讲人:崔辰州

概述 关键性的业务应用对性能、可用性、安全性以及可扩展性都有很高的要求。 硬盘是存储的核心组成部分,决定了存储系统的性能。 RAID技术的出现很大程度提升了存储系统的性能和可靠性。然而,单靠硬盘仍然无法满足应用需求。 智能存储系统是一种功能丰富的RAID阵列,提供了高度优化的I/O处理能力。

智能存储系统的组成 四个核心部分:前端、缓存、后端、物理磁盘 一个来自主机的I/O请求首先到达前端端口,然后经过缓存和后端的处理,最终在物理磁盘上存储或获取数据。如果被请求的数据已经保存在缓存中,那么请求可以直接在缓存中完成。

前端 前端提供了存储系统与主机之间的接口 它由两部分组成:前端端口和前端控制器 前端控制器通过内部数据总线把数据传入缓存或从缓存传出数据 每个前端端口都拥有相应传输协议的处理逻辑,这些协议包括: SCSI、FC、iSCSI等 为了获取更高的可用性,一般在前端提供冗余的端口 前端控制器通过内部数据总线把数据传入缓存或从缓存传出数据 当缓存收到写入的数据后,控制器向主机发出一个应答消息。控制器用命令队列算法来优化I/O处理。

前端命令队列 前端命令队列在前端控制器上实现 控制器对收到的命令的执行顺序进行决策,以减少不必要的驱动器磁头移动,改善磁盘性能。 有了命令队列,就可以根据数据在磁盘上的组织方式并发的执行命令,而不是按照这些命令的达到顺序执行。

命令队列算法 先进先出算法(First In First Out, FIFO) 从性能角度看它是最差的 寻道时间优化算法 访问时间优化算法

高速缓存 缓存是智能存储系统用来提高I/O性能的重要环节 缓存是半导体存储器 为了减少完成主机I/O请求所需的时间,数据被暂存在缓存中 物理磁盘是智能存储系统中最慢的组件,缓存可以将主机与磁盘的机械延迟隔离开,从而提升系统的性能

带有缓存的读操作 每当主机发出一个读请求,前端控制器会通过查询请求的数据是否保存在缓存中。 如果在缓存中找到请求的数据,则发生一次读缓存命中,数据被直接送到主机,无需任何磁盘操作。 如果没有在缓存中找到请求数据,称为发生了一次缓存未命中,数据必须从硬盘读取。

带有缓存的读操作 后端控制器负责访问相应的磁盘并读取请求的数据。随后,数据被保存到缓存中并最终通过前端控制器送到主机。 缓存未命中增加了I/O响应时间。

Pre-read 如果读请求是顺序的,可以采用预取或者称为预读的算法。 这一过程显著的减少了主机的响应时间 读命中率的提高带来性能上的提升

带有缓存的写操作 带有缓存的写操作提供了比直接写磁盘更好的性能。 一个I/O被写入缓存并得到响应比直接写入磁盘所用的时间要少得多。 多个小的顺序写操作可以被合并成大的写操作,在有缓存的情况下使得我们有机会对顺序写操作做优化。

带有缓存的写操作的实现 回写缓存 直接写缓存 数据被存入缓存,主机立即得到响应。一段时间后多个写操作的数据被一起提交到磁盘。 如果遇到故障,未被提交的数据有丢失的风险 直接写缓存 数据被存入缓存并立即写到磁盘中 因为需要磁盘操作,写响应时间比较长

跳过缓存写的情况 在特定的情况下缓存可以被跳过 有限的缓存要用在小的、随机的I/O访问中,这样才更有效。 好钢用在刀刃上

缓存实现 缓存实现分为专用缓存和全局缓存 全局缓存的管理更有效率,因为只需管理一组全局的地址 专用缓存:读操作和写操作分别使用单独的内存 全局缓存:读写操作都可以使用任意空闲的内存 全局缓存的管理更有效率,因为只需管理一组全局的地址

缓存管理 缓存是昂贵、有限的资源,需要合适的管理 缓存管理算法 最近最少访问算法(Least Recently Used, LRU) 假设:如果一个页面刚刚被访问过了,它就不太可能再被访问 最近最多访问算法(Most Recently Used, MRU) 假设:如果一个页面刚刚被访问过了,它还可能被经常访问

缓存数据保护 缓存是易失性存储器,电源故障或者其他缓存故障都会使得还没有来得及保存到磁盘上的数据丢失。 保护方法 电池供电:将缓存中的数据保存到磁盘 缓存镜像:在互相独立的内存条不同位置保存两份 缓存跳跃:用一组物理硬盘在停电时转存缓存中的数据。恢复供电时,数据从转存磁盘读到缓存,再写回对应的磁盘中。

后端 后端提供了缓存和物理磁盘之间的接口 磁盘端口冗余可以进一步增强可靠性 两部分组成:后端端口和后端控制器 后端控制器在做读写操作时与磁盘进行交流,同时也提供有限的、临时的数据存储。 磁盘端口冗余可以进一步增强可靠性 情况罕见

物理磁盘 SCSI FC IDE/ATA SAS SATA

固态驱动器 固态硬盘的存储介质分为两种 没有机械运动部件 带来了更短的响应时间和更低的电量消耗 一种是采用闪存(FLASH芯片)作为存储介质 另外一种是采用DRAM作为存储介质(需要独立电源来保护数据安全) 没有机械运动部件 带来了更短的响应时间和更低的电量消耗 在阵列中,闪存存储器存储1TB的数据消耗的能量比传统磁盘驱动器少38% 30个15K转速的FC盘才能达到一个闪存驱动器的性能 在性能相同的情况下,闪存驱动器能节能98%

SSD 固态硬盘的优点 启动快 不用磁头,快速随机读取,读延迟极小 相对固定的读取时间 基于DRAM的固态硬盘写入速度极快 无噪音 能耗和发热量较低 内部不存在任何机械活动部件,不会发生机械故障,也不怕碰撞、冲击、振动 工作温度范围更大 体积小、重量轻 固态硬盘的缺点 成本高。每单位容量价格是传统硬盘的5~10倍(基于闪存),甚至200~300倍(基于DRAM)。 容量低 易受到某些外界因素的不良影响。如断电(基于DRAM的固态硬盘尤甚)、磁场干扰、静电等。 写入寿命有限(基于闪存) 数据损坏后难以恢复 基于DRAM的固态硬盘在任何时候的能耗都高于传统硬盘

逻辑单元编号 逻辑单元编号:Logical Unit Number, LUN 物理驱动器或一组RAID保护的驱动器可以被分为若干个逻辑卷,这些逻辑卷用LUN统一寻址。 一个逻辑设备实际上是RAID组中的一个分区,但却被主机看作是一个物理磁盘。 在RAID情况下,这些逻辑设备是RAID组的一部分,分布在所有属于该RAID组的磁盘上。 LUN的使用提高了磁盘的利用率。

LUN屏蔽 LUN屏蔽是一种数据访问控制,它决定主机可以访问哪些LUN。 LUN屏蔽功能一般在前端控制器上实现。

智能存储阵列 高端存储阵列 中档存储阵列 活动-活动式阵列 活动-被动式阵列 主机可以利用任何可用的路径去访问它的LUN

活动-被动式阵列实例 EMC CLARiiON CX4 120/240/480/960 功能 优点 CLARiiON FAST 自动实现存储分层,可降低成本,提高服务级别。 闪存驱动器 通过建立新的第 0 层来扩展分层能力,从而实现超高性能。 UltraFlex? 技术 利用灵活的连接选项、在线扩展和集成未来技术的能力。 光纤通道/iSCSI 连接 利用 8 个 4 Gb/s 光纤通道和 4 个 1 Gb/s iSCSI 主机端口实现灵活部署。 虚拟资源调配 提高容量利用率;简化并加速跨存储阵列层分配存储容量的过程。 支持虚拟化的管理 使用端到端映射和报告功能实时、动态查看虚拟环境。 虚拟 LUN 技术 通过在阵列内无中断迁移数据,方便地管理分层存储部署。 三年“增强”支持 获得无限时在线自助服务、主动预防性远程支持、软件升级、24x7 呼叫中心响应和 9x5 现场支持。 CX4 120/240/480/960

活动-活动式阵列实例 EMC Symmetrix 为业界提供了性能和容量的最高标准 功能 优点 最高可达 1 PB 的无缝可扩展性 选择适合您需要的容量和性能 — 从 96 到 2,400 个驱动器。 以信息为中心的安全性 获得内置而非外加的高级 RSA 安全技术,以让您的数据保持安全,降低风险,并改进法规遵从性。 具有服务质量 (QoS) 的分层存储 利用闪存、光纤通道和串行高级技术连接 (SATA) 驱动器提高服务级别,降低成本。 数据移动性 通过在存储层、平台和站点之间方便快捷地复制和移动数据,让您的信息保持高度的可移动性。 系统管理 利用 EMC Symmetrix Management Console(一个基于浏览器的直观界面)来管理配置和复制任务,以及监视系统活动。

本讲小结 描述了智能存储系统的特色和组成 讲述了智能存储系统的两种实现 介绍了新兴的固态硬盘 前端、缓存、后端、物理磁盘 讲述了智能存储系统的两种实现 活动-活动式 活动-被动式 介绍了新兴的固态硬盘 从单机到网络,存储网络是一种灵活的以信息为中心的策略,扩展了企业中智能存储系统的应用范围。存储网络提供了通用的管理、共享、保护信息的方法。

下周更精彩 第五讲、第六讲 直连存储和SCSI 存储区域网络 储王伟