信息存储与管理 国家天文台 （科技处）信息与计算中心

第六讲 存储局域网络 主讲人：储王伟

前言 我们正经历着爆炸式的信息膨胀，低廉而高性能的信息管理解决方案 成为一种挑战。 一个高效的信息管理解决方案必须能够：及时提供信息给用户；信息 基础设施与业务流程集成；灵活易变的存储体系结构。 直连存储DAS是一种孤立的存储环境，上面的信息很难管理和分享， 为了将信息组织起来，存储局域网(Storage Area Network,SAN)应运而 生。 这一讲的主要概念有：SAN的组件，光纤通道(FC)结构，光纤通道协议 栈，光纤通道端口，光纤通道寻址，分区和光纤通道拓扑

SAN的实现及其演化 存储区域网（Storage Area Network，SAN）通过光纤通道交换机 连接服务器（或者称为主机）和存储器并传输数据。SAN实现了存 储整合，允许多个服务器共享存储设备。它允许用户连接分散在不 同地方的服务器和存储器。

SAN的实现及其演化二 SAN概念：SAN包括通信架构的物理设备，主机和存储阵列之间的通信机制。它还提供管理接口负责维护设备之间的连接、管理存储阵列及主机。 SAN演变：在早期的实现版本中，SAN只是简单的主机组，相关的存储设备通过集线器连接，称为光纤通道仲裁环（Fibre Channel Arbitrated Loop，FC-AL）。 因为集线器只能提供有限的互联功能和带宽，其局限性使其让位于高性能的FC交换机。 SAN的fabric交换拓扑提升了互联功能和性能，使SAN拥有更好的可扩展性。 FC-AL因其局限性被取代，但它仍然被作为磁盘驱动器接口使用。

光纤通道FC FC结构是一种高速网络技术，是SAN的基本组成元素。 FC结构的构成，一般用于SAN前端的连接是光纤线缆，用于SAN后端 磁盘连接的是串行铜缆。 FC网络技术的重要特征就是其更高的传输速度，最初实现的100MB/s 的吞吐率就远远大于DAS环境中Ultra SCSI的20MB/s的速度。在全双工 模式下，可达200MB/s的吞吐率，最新的8GFC，甚至可达1600MB/s的 吞吐率。 FC结构是高可扩展的，理论上一个FC网络可以容纳1500万个节点。

SAN组件1：布线 SAN的实现使用光纤进行布线。铜缆可以用于短距离的后端连接，因为它在30米距离内才能提供更好的信噪比。光纤线缆用光信号来携带数据。光纤分为两种： 多模和单模。

多模光纤和单模光纤 多模光纤（MultiMode Fiber，MMF）线缆可携带多个光束，以不同的折射角度同时在 线缆核心内传输。 在MMF传输中，多条光束在线缆里穿越，容易发生色散和碰撞。这些碰撞会导致信 号在长距离传输后强度减弱--这也被称作模间色散（Modal Dispersion）。 由于模间色散效应，MMF线缆通常被用作距离在500米以内的传输。 单模光纤（Single-Mode Fiber，SMF）携带单个激光束，在线缆芯线中央穿越。在SMF 传输中，单条光束在光纤的线芯正中直线穿越。 极细的线缆线芯和单束光波，都减少了模间色散。 在所有类型的光纤线缆中，单模光纤提供了最小的信号衰减和最大的传输距离（长 达10千米）。单模光纤被用于长距离的线缆传输。

SAN组件2：连接器 SC连接器（Standard Connector）和LC连接器（Lucent Connector）是两种常用 的光纤连接器。SC的数据传输率为1Gbit/s，LC的数据传输率为4Gbit/s。 ST连接器（Straight Tip）是一个有插栓和插孔的光纤连接器，可以锁住一个半 螺旋锁扣。在早期的FC部署时，光纤主要使用ST连接器。这种连接器常用于光 纤通道接插面板。 小型封装可热插拔式收发器（Small Form-factor Pluggable，SFP）是一种用于光 通信的光收发器。标准的SFT+收发器支持的数据传输率达到10Gbit/s

SAN组件3：互联设备 集线器、交换机、和控制器是常用于SAN的互连设备。 1集线器：是用于FC-AL的互连设备。集线器将节点连接成一个逻辑环或者一个 星型的物理拓扑。所有节点都必须共享带宽，因为数据会流经所有的连接点。 由于廉价而性能较高的交换机的出现，集线器不再被用于SAN中。 2交换机：比集线器更加智能，将数据从一个物理端口直接发送到另一个端口 。所以，节点不再共享带宽，而是每个节点都有一个专用的通信路径，从而实 现了带宽的聚合。 3控制器：比交换机更大，主要部署在数据中心。控制器的功能与FC交换机相 似，但是控制器有更多端口并有更强的容错能力。

SAN组件4：存储阵列、管理软件 存储阵列： 智能存储阵列已在第4讲描述过，此处省略。 SAN管理软件： 它提供了关键的管理功能，包括存储设备、交换机和服务器的映射，以及 监控和发现新设备时通知机制，还包括对SAN进行逻辑划分，称为分区（ zoning）。另外，这些软件还提供管理传统SAN组件的能力，例如HBA、存储部 件和互连设备等。

SAN组件5：节点端口 在光纤通道中，设备诸如主机、存储 阵列都被称作节点。 每个节点就是其他一个或多个节点的 信息源或目标。每个节点需要一个或 多个端口来提供物理接口，用于与其 他节点进行通信。 这些端口是主机总线适配器和存储器 前端适配器的一个集成部件。 每个端口都是全双工传输模式，拥有 一个发送（Transmit，Tx）链路和一个 接收（Receive，Rx）链路。

SAN交换机端口分类 交换机上的端口类型包括以下几种。 N端口（N_port）：一种fabric上的末端 端口。这种端口也被称作节点端口（ node port）。这通常是一种主机端口（ HBA）或一个存储阵列端口，连接到交换 fabric上的交换机。 NL端口（NL_port）：一种支持仲裁环拓 扑的节点端口。这种端口也被称作节点 环端口（node loop port）。 E端口（E_port）：一种FC端口，可以用 于两个FC交换机之间的连接。这种端口 也被称作扩展端口（expansion port）。 在fabric里，一个FC交换机上的E端口通过 一条链路连接到另一个FC交换机的E端口 ，也被称作内部交换链路（Inter-Switch Link，ISL）。ISL被用作传输主机到存储 器的数据，同时也包括fabric的管理流量 ，从一个交换机传输到另一个交换机。 ISL也是SAN连接的可扩展机制的一部分 。

SAN交换机端口分类2 F端口（F_port）：一种交换机上 的端口，用于连接N端口。它也被 称为fabric端口，但不能用于FC-AL 中。 FL端口（FL_port）：一种fabric端 口，可以用于FC-AL。这种端口连 接到FC-AL环上的NL端口。一个FL 端口也可以连接一个环到交换 fabric的交换机上。于是，所有在 环上的NL端口都可以用于FC-SW中 。这种配置也被称为公共环（ public loop）。另一方面，一个没 有任何交换机的仲裁环就被称作私 有环（private loop）。一个私有环 包含NL端口，但不包含FL端口。 G端口（G_port）：一个通用端口 ，可以作为E端口或F端口来用，并 且可以在初始化时自动决定其功能 。

FC简单连接方式 2光纤通道仲裁环FC-AL：FC-AL拥有 令牌环拓扑和星型物理拓扑的特性。 在FC-AL里，每个设备都与其他设备 争用信道以进行I/O操作。在环上的 设备必须被仲裁才能获得环的控制权 。在某个给定的时间点，只有一个设 备可以在环上进行I/O操作。 1点对点：最简单的两个设 备之间相连，互连能力有限 。 FC-AL

FC-AL仲裁机制 1当一个节点尝试传输数据时，该节点会发送一个仲裁帧（arbitration Frame，ARB）给环上的每个节点。如果两个节点同时尝试获得环控制权，具有最高优先级的那个节点就被允许与其他节点通信。优先级是由仲裁环物理地址（Arbitrated Loop Physical Address，AL-PA）和环ID决定的。 2当发起方节点接收到自己发送的ARB请求时，它就获得了环的控制权。该发起方就开始与目标方节点建立虚链接并传输数据。

FC网络连接方式：FC-SW 3光纤通道交换fabric(FC-SW): 不像FC-AL那样，一个FC-SW提供互连设备、专用带宽以及可扩展性。在一个交换网里增加或移除设备极少引起网络服务中断，它不会影响其他节点正在传输的数据流量。 FC-SW也被称作fabric连接。一个fabric是一个逻辑空间，所有节点都可以在其中互相通信。这个虚拟空间可以通过一个交换机或一个交换机网络来构建。 每个在fabric中的交换机包含一个唯一的域标识符，同时也是fabric寻址机制的一部分。在FC-SW中，节点并不共享一个环；相反，数据是通过一个专用的路径在节点间进行传输。每个fabric上的端口都有一个唯一的24比特的光纤通道地址用于通信。

FC SAN的发展

光纤通道协议栈 FC-4高层协议 FC-4是最高层的FCP协议栈协议。这一层定义了应用程序接口和高层协议（Upper Layer Protocols，ULP）映射到低层FC协议层的方式。FC标准定义了几种可以在FC-4层操作的协议（如图6-7所示）。其中一些协议包括SCSI、HIPPI组帧协议、企业存储连接（Enterprise Storage Connectivity，ESCON）、ATM和IP等。 FC-2传输层 FC-2传输层包含有效载荷、源地址和目的地址以及链路控制信息等。FC-2层提供了光纤通道编址、结构和数据组织形式（帧、序列和交换）。它也定义了fabric服务、服务类、流量控制以及路由等。 FC-1传输协议 这一层定义了传输协议，包括串行编码和解码规则，以及所使用的特殊字符和差错控制等。在发起节点，一个8比特的字符被编码成10比特的传输字符。这些10比特字符然后被发送到接收节点。在接收节点，这个10比特的字符被转到FC-1层，解码为原来的8比特字符。 FC-0物理接口 FC-0是FCP协议栈的最底层。这一层定义了物理接口、媒介和原始比特的传输规则。FC-0指定了包括线缆、连接器以及不同数据率下的光学和电器等参数。FC传输协议可用在电器媒介和光学媒介上。

分区 分区是一种FC交换机的功能，它使得节点在一个fabric里可以被逻辑上分为不 同的组，并且在组间进行互相通信。 当一个设备（主机或存储器）登录到fabric上时，它就会通过一个名字服务器 进行注册。当一个端口登录到fabric上时，它会经历一个设备发现过程，而其 他设备是已在名字服务器上注册过的。分区功能的作用就是控制着这个过 程。 一个分区集是一组分区，一个分区就是一组成员。一个成员可能在多个分区 里面。但每次只有一个分区可以处于活动状态。

FC拓扑一：核心-边缘Fabric 在核心-边缘fabric拓扑中有两种类型的交换机层。边缘层通常包括交换机，提供一种廉价的添加更多主机到fabric中的方案。在边缘的这一层是从核心层扇出的。在边缘的节点可以互相进行通信。 核心-边缘fabric拓扑增加了SAN里的连接性，同时保证了总体的端口利用率。如果需要扩展，一个额外的边缘交换机可以连接到核心。这种拓扑可以有不同的变种。在一个单核心拓扑里面，所有主机都连接到边缘层，所有存储器都连接到核心层

核心-边缘Fabric的优点和局限性 优点： 核心-边缘fabric提供了单跳的存储访问，遍及系统中的所有存储器。因为流量是以一种确定的模式传输（从边缘到核心），核心-边缘拓扑提供了更简单的ISL负载计算和流量模式。因为每个层上的交换机都用于存储器或主机，所以它们很容易定位哪些资源更接近它们的处理能力，使其更容易建立一套规则用于增减或分配资源。 局限性： 核心-边缘fabric可能会导致一些性能相关的问题，因为扩展一个核心-边缘拓扑包括增加fabric中的ISL（交换机间链接）数量。随着更多的边缘交换机添加进来，fabric中的域数目也会增加。一个最好的通用实践是保持主机到存储器的跳数不改变，在核心-边缘拓扑中这个跳数为1。跳数代表了一个数据帧要穿越的设备的总数。通常一个大的跳数意味着数据从源传输到目的需要更大的传输延迟。

Fc拓扑二：Mesh拓扑 在一个Mesh拓扑中，每个交换机通过ISL直接连接到其他交换机上。这种拓扑促使SAN的连接能力变得更强。当网络端口数量增加时，可以接入并互相通信的节点数量也会随之增加。 全Mesh中，所有交换机都在同一个拓扑中互相连接。全Mesh拓扑比较适用于涉及的交换机数很小的情况。在一个全Mesh拓扑中，主机到存储器的流量最多只需要一个ISL或者一跳。 部分Mesh拓扑中，流量到达其目的地可能需要经过几跳或几个ISL。主机和存储器可以位于fabric的任何位置，而且存储器也可以局限在某一台导向器或交换机上，这对于两种Mesh来说都是一样的。

本讲小结 SAN的概念，SAN组件包括光纤，连接器，交换器，端口，和管理软 件，以及存储阵列和服务器。 SAN的实现主要靠光纤通道，介绍了FC端口，FC协议栈，FC连接方 式，分区，FC连接拓扑 尽管SAN消除了“存储孤岛”，但它们的初 期实现却在企业内造成了“SAN 孤岛”， iSCSI和FCIP技术推动了SAN通过IP技术进行 聚合。

下周更精彩 第七讲 樊东卫 网络连接存储 第八讲 何勃亮 IP SAN