更先进的控制器间互连技术
1 M- v- T8 F9 ]% ^2 P i
前面两节我们谈到的都是如何让单个存储器控制器的处理能力变得更快,而另外一个提升模块化存储器控制器处理能力的方法是使两个存储控制器从非对称处理模式(Asymmetric)转移到对称处理模式(Symmetric)。
非对称处理模式(Asymmetric)、对称处理模式(Symmetric)这是一个让一般读者听起来颇为绕口,也显得颇为专业的提法,下图显示了对称式处理模式和非对称处理模式两者架构的区别,从图上我们可以看出其主要区别是在于symmetic双活架构的存储器的两个控制器内部又细化成了前端卡和后端卡,另外两个控制器之间出现了互连通道(Broadband cross band):
9 `# y$ k1 \2 Z
5 ]9 H5 U" Z( B, ]
; h) q" L' W. \- l% v) t- u: ^
很多读者会问,一般很多存储厂商不都是说他们的存储器都是Active/Active双活架构的吗,怎么又冒出来一个对称不对称的讲法呢?会不会是又在炒作新概念啊?下面我们来详细看看这两种架构的区别。
- A( n: ~* x3 L/ D/ k
8 n! h* C; ) ^5 f1 I
0 u& W9 ]! L( L" d; _8 f, ?
下图是我们常见的主机通过SAN交换机和存储器互连的拓扑架构图:
2 N; A$ t3 R5 X4 l: c我们可以看到每台主机一般是通过多通道软件连接到控制器(如EMC的Powerpath,HP的SecurePath,IBM的SDD,Veritas的DMP或者HDS的HDLM等)再通过两台FC交换机连接到两个存储控制器,然后存储器把内部的磁盘(如LUN 1、LUN2)分别映射给不同的主机。比如把lun1映射给上图左边红色的主机1,把lun2映射到上图右边蓝色的主机2。另外很重要的一点是一般传统的Asymmetric存储器在把lun映射到主机时,必须要指定一个onwer控制器且不能在线改变(术语称“属主控制器”),比如说lun1是通过控制器0映射给红色的主机1,而lun2是通过控制器1映射给蓝色的主机2,如果某个lun如果要改换控制器映射mapping,往往需要停机或者说手工切换,这样尽管从宏观上来看控制器间确实是做到双活active-active(两个控制都同时在工作,都有自己所属的lun),但是细细分析会有以下潜在的问题:
1 v' C5 X4 _+ [5 X1、4 Q& Y5 @1 B8 v4 L 2 U& l
存储规划上带来的额外负担:在存储规划初期必须仔细考虑把每一个lun的属主控制器,尽量把任务均衡地分布在每个控制器上。
2、3 d6 k% C" `, Q9 z
控制器间很难做到负载均衡:不同的业务系统的工作负载往往是不一样的,如果规划初期控制器任务分配不均衡,运行后很难做到在线调整,需要有停机时间;
3、% K& h2 k! k- y' M/ B% M
如果一个控制器坏掉了,所属的lun需要全部重新mapping,而如果该控制器只是短暂停止工作而马上又重新恢复处理,那么lun的归属就很有可能会在两个控制器间跳来跳去,这就是存储行业里面经常讲到的“乒乓效应”(lun的归属权在两个控制器间来回跳动,就像乒乓球一样)。
4 I% L( R/ M5 R7 P7 X( q$ }7 v& O5
造成这些原因的根本问题是传统的Asymmetric存储器器的每个控制器都是一体化设计,控制器是一个最小的原子单位没有办法可以进一步细化了。而基于 Symmetric架构的模块化存储器就可以很大程度上避免这个问题,因为如前面图中所介绍的,存储器的两个控制器里面又进一步细化了前端卡(负责和主机连接)和后端卡(负责和后端的lun连接),两个控制器间的前端和后端卡都可以做到any to any的互连。这样的架构下,每个lun的owner属主控制器就存在动态变化的可能性。
( x6 q) j. q; ^: L
如下图所示,如果主机连接到具备了Symmetric架构的存储器,存储管理员不需要预先为每个lun指定onwer控制器(可以由控制器随机分配),通过存储器的软件可以非常方便做到两个控制器间lun的owner切换,负载均衡。
0 F: l B) L( W$ L% L I: \1
可以说基于Symmetic架构的模块化阵列具有非常好的控制器间负载均衡调节的能力,算是模块化存储器的一种创新(其创新类似早期数据库Oracle从一主一备进化到双instance同时工作的OPS,再进化到多数据库instance同时工作的Oracle RAC和Oracle Grid)。
% V2 h! \& ^( q现阶段支持此架构的存储器包括3PAR公司的Titan系列存储器,HDS的AMS2000系列存储器、DDN公司的S2A系列存储器、Pillar Data System公司的Axiom系列存储器(由Oracle公司老大Larry同学私人出资成立的存储公司,真是财大气粗啊)都具备此项功能。其中3PAR 和Pillar公司的产品更是跳出两个控制器间负载均衡的限制,可以从2个控制器间扩展到多达8个控制器间的负载均衡和任务切换,可以说具备更加先进的架构。
更快的存储器前端主机连接
前面几个小节我们谈到的都是从如何通过提高存储器这台计算机的核心处理能力(即其控制器的处理能力)来提高模块化存储器的性能,下面几个章节我们将从其他另外几个角度来探讨如何提升存储器这台计算机。
我们知道,一台计算机,除了处理器的核心处理能力以外,其和外界设备交流的IO接口也是一个非常重要的因素。那么存储器这台计算机和外界的接口有哪些呢,主要分为存储器和主机的接口(我们称之为前端主机通道)和存储和后端磁盘的接口(我们称之为后端磁盘通道接口)。因为从体系架构上来看,从体系架构上来看,存储器就是横跨在前端主机和后端一大堆磁盘之间的一台计算机嘛。本节我们将讨论如何通过提供更快更丰富协议的前端主机接口卡提升模块化存储器的性能。
- K$ e, T' A' Z% [ q1 E$ I! e, E谈到接口,首先在脑海中出现的应该是速度问题,这里的速度问题我们可以由上往下进一步细分为以下四个部分分开来讨论:
- } A6 i4 Y8 X2 A$ U( r1、主机内部总线到HBA卡的带宽:很多项目中,用户往往关心的是主机端的HBA卡的速度是1Gb/2Gb/4Gb还是最新的8Gb,甚至还有潮人追求 FCOE,但往往忽略了主机内部处理器到HBA卡的总线带宽。我们以传统主机的南北桥架构为例,CPU/内存等核心处理部件到HBA卡的带宽越宽则性能越有可能提升,否则不管外部HBA卡有多快,系统内部的瓶颈将制约系统的整体性能,这点在宽带流媒体视频点播应用或者高带宽视频文件非线编方面尤其明显。比如现在很多人都在谈论存储端SAS 2.接口0,但是真正使用的案例确很少,其中一个很重要的原因在于SAS 2.0的外部接口速度达到6G/sec,比很多传统服务器连接到IO接口的内部总线带宽还宽,因此现阶段部署SAS 2.0不能充分发挥其高带宽的特点(存储端传来再多的东西,主机端给卡住了)。
2、主机HBA卡的接口速度:HBA卡的速度是由HBA卡的生产厂家(主要是Qlogic和Emulex)控制的,其接口速度的更新往往和网络存储交换机同步更新。如前文所讲,简单地配置高速的HBA卡甚至多口的高带宽HBA卡(特别是那种多端口的Combo卡)对于系统性能提升太大的任何好处。特别是在缓存命中率较低、随机型IO类型的OLTP数据库应用环境中,简单的关注主机HBA卡、网络存储交换机和存储控制器前端主机接口卡速度的提升对于此类应用帮助不大。
3、网络存储交换机接口速度:主要厂家包括Brocade、Cisco、Qlogic等,在评测网络存储交换机速度时千万不能仅仅只看接口板块的速度,因为有些情况下交换机厂商在交换机内部核心背板交换速度没有任何改进地情况下,只是在表面上提高了所谓前端接口的速度,或者交换机内部互连用了更高高的超载比,这些表面上的功夫对于整个系统的性能提高起不到什么作用。因此我们判断一个网络存储交换机的性能不能观看其最大端口数和接口速率,更需要观察其内部背板带宽和端口到核心交换部分的超载比。) 4 i( [( O" s9 v: `5 a- Y
4、存储控制器前端主机接口速度:只有在顺序IO环境下,存储器的高速前端主机接口速度才有意义,在数据库环境下关键取决于存储控制器处理器的性能;
5、存储控制器内部处理器到存储控制器前端主机接口的带宽:这是一个经常被忽略的问题,存储控制器内部处理器到前端主机接口的实际带宽往往是提升性能很关键的部分,如果说控制器本身没有换,只是简单的把存储控制器前端主机接口从4Gb换成8Gb,对于性能的提升同样意义不大。而很多厂商在宣传中往往通过前端支持更高速度的接口卡来“忽悠”用户。
0 m* E' C. - l# r+ d往往很多存储厂商经常标榜更高的接口速度=更好的性能,而笔者认为,如果从整体系统架构来讲,存储器前端主机连接以及相关的网络速度并不是最重要的,为什么会这样呢?我们来回顾一下摩尔定理:IC上可容纳的晶体管数目,约每隔18个月便会增加一倍,性能也将提升一倍。但是我们再回顾一下存储器的一个重要部件磁盘的发展历程,可以说早期的磁盘到现在的磁盘其性能变化不大(注:决定单盘的性能关键往往是其转速和寻道时间,比如15K RPM即磁盘平均每分钟转速为15000下),这也是存储器这种计算机和其他计算机的一个关键不一样的地方,存储器的整体性能不仅仅取决于控制器内部的电子速度的提升,很大程度上也取决于其后端磁盘这种机械设备的性能提升,而正是由于磁盘这个关键部分技术没有质的提升,因此仅仅靠存储前端主机、存储网络的速度的提升并不能给整个存储器系统带来革命性的变化。
前端主机接口更多协议的接入能力. o2 ?3 b6 K( p+ k7 M0 D5 L2 p
我们上节讲到了模块化存储器的前端主机接口的速度问题,下面我们将要谈到另外一个经常会碰到的问题,即我们在规划网络存储项目时碰到的用NAS/SAN /IPSAN甚至是最新的FCOE等协议,这些五花八门的东东本质上谈论的就是存储器的前端主机接口是通过什么协议和主机相连。
; L$ I# h6 {! Z+ H
稍微花点时间来解释一下协议是个什么东东,通俗来讲,协议是指两种设备在通讯期间用来沟通的约定俗成的一种规范,就好比语言一样,同样是咿咿呀呀,中国人用的是中文,米国人用的是English,必须采用同样的规范来沟通,否则就会出现牛头不对马嘴的情况(牛的语言和马的语言明显不是一个路数)。, q# F4 `9 A* K; n
! ~2 E, C& t' d* E5 a( T, k
以上是笔者经常用来解释不同协议及其本质的一张图,我们可以从应用程序、文件系统和存储器的位置很清楚地看出DAS/NAS/SAN的区别(由于本文不是存储网络入门课程,更加详细的资料请参考网上非常多的关于此方面的培训教材),简单来讲,只要分清楚文件系统和存储系统以及所接入网络的位置,我们就可以很方便地搞清楚SAN/NAS和DAS的区别。, G: N$ R7 N2 a. J' U$ E
注意,从协议上来讲,DAS、SAN、ISCSI(即所谓IPSAN)甚至FCOE本质上都是用的SCSI协议,只是封装在不同的网络协议中(DAS环境里面主机和存储间当然是没有网络了),我们可以把这种服务叫作块级别服务(block service),而NAS是提供文件系统的服务,我们叫file service(如上图所示NAS头里面自己已经包含了file system);而从硬件连接属性来看,ISCSI和NAS同样走的是TCP/IP网络链路。; S, j7 D, i3 X/ @" e1 C% y) n
早期传统的存储器基本上都是配置光纤接口,通过SAN交换机连接到主机的HBA卡来提供存储服务。如果要提供文件共享的NAS服务,多通过连接到NAS服务器头做到(比如EMC的Celera),如果要提供iscsi服务,也是通过一个协议转换器从SAN接口转换成iscsi接口提供IP级别的block 服务。- _% j' [9 z% R7 `! Z1 ~
$ r3 S3 P+ K( {( r! ^$ Y6 q
而不少入门级的磁盘阵列为节约成本即直接提供ISCSI接口通过IP端口提供服务(因为ISCSI存储阵列只需要通过普通的TCP/IP网络交换机即可以和其他主机的TCP/IP网卡相连提供存储块级别服务,网络交换机的采购成本要远低于存储交换机,网卡也比HBA卡便宜)。
" j6 d/ t" K1 U0 R) i8 d
而早期市场上也有不少独立的NAS头厂商,最出名的当然是Netapp了(还有不少小公司如Procom等后来都陆续被收购或者消失了);另外微软也发布了一个独立的windows WSS文件共享服务器,通过OEM给各家PC服务器厂商主要提供windows环境下的文件共享服务(基于CIFS协议);当然还有一种更加简单便宜的方法,即去www.samba.org 网站去下载一个简单的samba软件包,选取你要安装的平台或者需要简单便宜一下,一个具备基本文件共享功能的NAS服务器就搭建成功了(注Samba更多服务于Unix环境,针对NFS性能较好)。
可以说当时NAS/SAN/ISCSI阵营还是比较容易区分的,早年在国内存储界甚至形成了一个所谓采用SAN就是高端,采用NAS就是低端的论调。而不少存储器厂商为了赢得项目在早期往往会极力鼓动客户采用对自己有利的存储访问协议来访问存储(SAN存储器厂商说SAN好,NAS存储器厂商说NAS方便,iscsi存储器厂商说iscsi总体成本低)。
+ J: i3 V) y! K% D9 V1 `
然而这一切被netapp在2005年前后用一个叫统一存储FAS的概念给颠覆了。根据Netapp的设计思路,其存储控制器Filer通过其Data OnTap操作系统,结合WAFS文件系统可以同时提供NAS/SAN/iSCSI服务。在模块化存储器体系架构分析中我们提到过,NETAPP是采用通用服务器的设计理念来构造其控制器架构的,因此从接入的硬件实现来讲只需要在存储控制器这台PC服务器上插入HBA卡或者网卡,控制器软件可以方便地把封装各种存储协议为主机提供存储块级别服务或者文件级别服务。
5 \9 S" " a: l- C4 ~$ B$ E
9 l" K" }8 P, r0 K/ _$ {- Z
! X7 d9 a. r( [) f4 I* H4 _
这种创新式的架构为Netapp带来了巨大的商机,用户从此不需要再去考虑各种协议之间的差别,反正Netapp只需要一套存储控制器都能提供相应接口,从而大大减轻了成本。而其他存储厂商往往都需要额外配置转换模块(FC到iSCSI协议转换)或者配置额外的文件服务器引擎(SAN到NAS的协议转换),而这些额外的设备带来了其硬件成本的提升。
, `9 4 o" s+ g: O0 O
需要指出的是SUN推出的7000系列存储器也是采用此种思路,其上层采用Solaris open storage操作系统(对应netapp的是Data OTAP),底层采用赫赫有名的128位文件系统ZFS,也能同时提供ISCSI/NAS/SAN接口,算得上统一存储领域的后起之秀吧。
* @# Z/ y1 P9 Y. B$ G0 j; Z
另外一家在国内名气不大的专业存储厂商Pillar Data System也能够提供类似的功能,其存储控制器Axiom Slammer Storage Controllers也能够灵活地提供SAN、NAS、ISCSI的前端主机接口。$ L4 l7 l3 W6 N$ N. B
有意思的是在Oracle收购SUN以后,Larry的声明中表示原SUN存储器产品线首先确定的就是7000系列的统一存储将是Oracle未来的发展重点,再联系到Larry自己投资的Pillar Data System公司的Axiom系列存储器也是走的统一存储的路线,看来至少从Oracle的角度看来,统一存储(单控制器同时支持各种存储协议的接入)会有很广泛的市场,将是未来存储器的发展方向。
EMC在CX3的升级以及CX4系列存储器中已经可��做到把FC接口和iscsi接口整合在一起,但是现在还做不到把NAS接口也整合进去(毕竟需要在接口卡部分内置一个文件系统才能提供NAS服务)。) ?, x; X/ W/ x! }& C
当然也有不少存储厂商会提到把Netapp这种做法本质上是用一个NAS服务器虚拟成一个block呈现给主机,通过这种“假SAN”的方法把file service和block service共同嵌入到一个存储控制器里,或者说其性能可能不如单独的NAS引擎来得强劲。这些孰是孰非笔者在本文中不做判断。其实说到底关键还是需要深入分析用户的业务系统的应用类型怎样,因此这也需要广大用户在采购相关存储设备时综合权衡。
最后谈到一个非常有趣的现象,越来越多的存储厂商在朝着统一存储接口这个方向走,这应该是模块化存储器的一个发展的方向,也是存储器厂商制造设计实力的一种体现(在存储控制器层把底层协议和前端接口协议分开)。当然各家厂商实现方法和Netapp的FAS可能会有所不同。其主要思路是利用虚拟机的技术(如 vmware),在控制器中同时运行block级软件和NAS服务器软件,有小道消息说下一代的EMC CX和收购了Onstor的LSI都会朝这个方向尝试,这样将会有越来越多的存储器厂商可以在一对存储控制器里面同时提供SAN/NAS和iscsi的服务。
磁盘后端采用更多的并发带宽
- i% p" b4 m* ]' Q1 q) J/ m5 ^
在讲到这一节的时候,我们来看看下面这张图,这张图上的东东就是世界上第一块1GB的硬盘,它诞生于1980年,重550磅,售价4万美元。还记得开篇中笔者提到97年本人在做系统管理员时看到的那个当时能够顶得上大街上一台夏利出租车的磁盘么,我记得容量好像是是4.5GB或者说9GB,当时磁盘柜内部用的应该是20MB/sec的SCSI总线。而现在呢,450GB、600GB的10K/15K RPM的磁盘都出现了,更有单盘容量达到2TB的SATA磁盘,我的乖乖,这十几年存储技术的发展真是日新月异啊。- Q* h6 m+ f0 n; H; X; D+ h# e:
然而我们在把这些变化用数据量化一下就会发现更加有意思的现象:
8 O% P" h+ e3 [; a
首先我们从容量上来分析,从早期的4.5GB/9GB的单盘容量发展到现在的2TB的单盘容量,所以说单盘容量发展了444倍(或222倍),厉害;5 u! W. [" a% C# a& j5 u' C7 c
5 N0 Z$ W) r6 ~, P1 h) q
其次我们从单条磁盘后端通道速度来分析,早期是20MB/sec,现在流行的4Gb(400MB/sec)的光纤通道后端(2011年可能会升级到8G),所以说后端通道速度增长了20倍(下一步可能到40倍);
( n8 e( Z- g, }/ P9 m1 m+ _1 H
然后我们再从单块磁盘的转速来比较,当时应该比较流行的是7200RPM和10000 RPM,而现在流行的是10000RPM和15000 RPM的,所以说单盘的转速仅仅增长50%到1倍;8 U1 N v: \' ?/ _5 x
从以上数据我们可以看到,制约存储器这台计算机进一步发展的仍然是机械设备磁盘,而现在存储器最大可以支持的磁盘数越来越多,从早期的十几块几十块到现在的动辄几百块甚至1000块左右,如何把这些相对慢速的磁盘组合起来高效率运行,以匹配日新月异的存储器的发展是一个大课题。而其中一个关键的部分就是增加存储器后端磁盘接口的带宽,让每块磁盘可以平均享受更多的后端通道带宽。再考虑到现在流行的RAID 6计算(比传统的RAID 5需要更多的内部校验计算)和ATA磁盘的读写机制(比传统的SCSI磁盘和FC磁盘需要更多的校验写操作),我们可以很容易地发现磁盘阵列内部的计算消耗量将变得越来越多。接下来我们进一步考虑到磁盘阵列流行的内部克隆、快照等技术…原来存储器内部需要这么多的内部带宽来实现各种数据保护…
2 y; z/ ^8 b8 T4 J6 j
传统的存储器后端采用的FC-AL光纤通道接口,首先解释一下什么叫AL,AL全称是Arbitrated loop,说白了每条后端仍然是个环路,当一个磁盘要传输信息时,其他磁盘需要等待,这在少量磁盘并发运行时问题不大,但是当后端需要接多条通道时就会出现性能问题,而在存储器需要在线扩磁盘时后端环路需要重新内部配置,也会出现一定的不稳定因素。那么我们来看看各家存储厂商在这个基础上分布采用了什么方法来增加存储器的后端磁盘通道带宽:1 z7 V" N) n/ A) d" ^
1、) {- Q# ]) ~9 c3 E M* U7 _
在后端FC环路上配置loop switch隔离故障点(代表产品HP EVA系列)。从下图我们可以很清楚地看到,HP公司在2002年发布的EVA 5000产品的设计思路,整个EVA存储控制器HSV 110本身并没有什么显著变化(仅仅在微码层有些软件更新),然而EVA5000存储器针对存储控制器到磁盘后端做了一个比较明显的改进——添加了4个FC loop switch,这样每个磁盘柜将直接连接到这4个FC LOOP SWITCH上面。而HSV110控制器再和这四个FC LOOP SWITCH相连。
, E: v- p. a3 Y7 R1 u
3 ]; S& E. m; u; S) G7 l! ~
6 Z T: Q" d# T6 D; }+ ?. W8 H
这种设计摒弃了其他存储器通过菊花链级联直接连接到存储控制器上面的做法,这在当时是一个非常贴心的改进,很大程度上减轻了EVA存储器每个后端环路的内部通讯信息,屏蔽了由于各个磁盘柜内部增减磁盘而引起了信息干扰。
5 L; {# L: ~$ h- I. r4 g; z
, A4 U' M/ ?4 d. p; c/ o$ W
2、从JBOD向SBOD发展(代表产品EMC CX系列/IBM DS系列)。传统存储器采用的FC-AL后端链路传统上还是一个环路技术,传统FC环路的JBOD不仅暴露出硬盘间、机柜和RAID控制器间共享带宽的弱点,难于隔离和诊断出错的硬盘等问题也影响了RAS(可靠性、可用性和服务能力),延迟时间还会随着硬盘数量增长。可见,改用交换架构势在必行而是 Switched Bunches of Disks(交换的磁盘组)。与人们耳熟能详的JBOD(Just A Bunch of Disks)相比,SBOD算是个蛮新的概念了。Emulex也已经在2007年1月发布其4Gb/s FC芯片InSpeed SOC 422之前提到了SBOD应用。最佳方案当然是:机柜内部用SBOD SOC,机柜和RAID控制器之间则通过所谓的“根交换机”(Root Switch),组成完全的交换架构。一方面,JBOD变成了SBOD;另一方面,直接的数据路径提高了可扩展性和服务能力。) W+ @ m, d: v$ M% k- e# t4 B
4 R' W; f4 w% j- M4 i/ v
EMC在CLARiiON CX3 UltraScale 系列中推出了这种技术来提高后端带宽,参考下图所示。4 E; J' K9 A* B8 g, g' c
- H3 s f9 L/ {8 v8 k3 y& T. q# L" R
3 、后端采用SAS技术(代表厂商HDS AMS2000/NETAPP FAS的最新更新/DDN 最新的存储器产品)。
7 C' o: N& u- % ^' b" I5 E" j. ^
下面我们稍微节省一下SAS的技术背景:2002年,为了给带宽很难继续提升的并行SCSI缔造一个合适的接班人,Compaq(现HP)、IBM、 LSI Logic、Maxtor和Seagate(如今是一家)带头开始发展被称为Serial Attached SCSI(串行连接SCSI,即SAS)的技术。这种技术继承了并行SCSI的指令集,却又利用了SATA的成果,软硬件都天然兼容后者,且通过将并行 SCSI时代就有的Expander(扩展器)重新塑造成一个类似交换机的角色,由SATA的点对点架构升级为能够容纳上万个端口(一个设备可以拥有多个端口,如Expander)的全交换网络,同时还借鉴了FC-AL的双端口概念,以提高驱动器的可用性。
由于兼具并行SCSI、SATA和FC-AL三者的优点,SAS可谓驱动器接口技术的集大成者。
& \$ [+ L0 P* f0 o- F( _2 B
得益于吸收SATA的成功元素,SAS的青春很快来临。从2006年起,新推出的服务器全面采用SAS技术,SAS硬盘驱动器的供应状况亦大大改善。到了 2007年,不少低端磁盘阵列也开始支持SAS,而在以前,它们只能使用容量大、价格便宜但却性能平平的SATA硬盘驱动器——在这个级别的产品上,混用 FC-AL和SATA是不划算的。可以说,SAS技术的应用,间接提升了低端磁盘阵列的品质,为后者胜任一些更具挑战性的任务提供了可能。. U9 w- v% `2 e" P' J
$ m) R& X9 i8 T1 I# t
SAS的发展和成熟,很好地适应了分层存储理念而大行其道的SATA硬盘驱动器。SAS更容易在中端磁盘阵列中混合使用高性能硬盘驱动器(如FC/SAS /SCSI)和大容量硬盘驱动器(如SATA/PATA)的能力。因为FC-AL和SATA在软硬件上均不兼容,无论是给大容量硬盘驱动器换上FC-AL 接口,还是通过FC-SATA转换器件,都进一步提高了系统的复杂性和成本。
即使不考虑和SATA混用的问题,FC也无法在磁盘阵列中与SAS抗衡。表面看来,目前SAS的接口速率是3Gb/s,略低于FC的4Gb/s。但是,SAS技术支持4路并联,这意味着一个4路宽端口的传输带宽可以达到12Gb/s——FC升级到8Gb/s都赶不上。所以,SAS有足够的资格作为磁盘柜之间的接口。至于磁盘柜的内部,FC的带宽更是要分给环路上的几个硬盘驱动器共享,就算2009年支持8Gb/s的FC硬盘驱动器如期推出,还是无法与每个硬盘驱动器独享3Gb/s带宽的SAS相比。
SAS技术天生支持4路同步并联的宽链接,单向总带宽12Gb/s(合1200MB/s,SAS 2.0更将高达24Gb/s): `. A" u$ n ~
如今,SAS硬盘驱动器不仅机械组件与FC-AL硬盘驱动器完全相同,在双端口等接口功能上也毫不逊色,区别仅在于控制器接口和驱动器微码,因此,两者的可靠性处于同一水平。
即将发布的SAS 2.0可以在长达10米的外部线缆上实现6Gb/s的传输率,而SAS 1.0/1.1对外部线缆长度的规定是“大于6米”。SCSI商业协会(STA)主席Harry Mason解释说,10米的长度可以满足机架之间互连的需求。后端连接硬盘驱动器用SAS,前端连接主机用FC,这般各取所长的组合今后将在越来越多的中端存储系统中出现。
官方名称待定的SAS 2.x计划把线缆长度延长到20米以上,并在考虑引入光学连接(光纤?),若得以实施,将来的高端磁盘阵列内部也有可能出现SAS的身影。FC以其完善的协议、强大的功能和长距离连接能力,仍然是存储系统与主机相连的主要选择,而这远远超出了SAS的定位+ q1 U6 " O' t9 J6 v
, d3 b* z$ u- G
应当说SAS是一种代表下一代磁盘接口发展方向的最新的磁盘接口技术。其点到点的设计比FC-AL是一个进步;单通道里面支持4个并发IO更是从体制上领先于FC-AL的环路协议;由于SAS在硬件接口上面和SATA完全兼容,因此我们可以非常方便在一个磁盘笼子里面混插SAS磁盘和SATA磁盘,而不需要象传统的磁盘阵列那样FC和SATA分柜安装,或者给SATA盘额外装一个转接器;而从整体连接架构来讲,存储器前端主机接口通过FC协议和主机相连,后端则通过SAS接口连接众多磁盘,这样对于���机和SAN来讲是完全透明的。/ N. . ^/ Y K: V8 T
7 n9 o: Z' d2 % b8 i- h8 H
关于采用SAS技术需要考虑的问题:上文中说到既然SAS有这么多优势,为什么很多存储器厂商现在确还没有使用SAS接口呢,包括SAS控制器的市场占有率最大的厂商LSI在其OEM给IBM的DS4000/DS5000系列和SUN的6000系列存储器中仍然是采用FC后端通道技术,而在相对比 DS4000低一个档次的DS3000系列里提供了后端SAS接口。各家厂商对于SAS后端技术的接受程度是不一样的,由于现阶段存储器采用SAS后端只是SAS 1.0(即3Gb/sec接口技术),而下一代SAS 2.0(6Gb/sec估计将在明年被广泛使用)。5 m* \: v# e. f0 w5 a
6 }6 x7 i& N: S, U
我们来看看那些现阶段还没有采用SAS 1.0技术作为存储器后端磁盘接口的存储厂商的说明:SAS 1.0 Is Not Ready To Be A Midrange Solution (SAS 1.0): SAS1.0还没有为中端存储器做好真正准备:
1、
Mainstream vendors are comfortable using SAS 1.0 in SMB environments but nowhere else :主流存储厂商认为SAS 1.0现阶段更加适合中小企业SMB应用;! f9 P- G! g* u* X" u3 z
2、" B/ w2 ]/ h) X( f
SAS 1.0 is attractive due to it’s lower price, but that price is achieved by excluding many of the necessary features found in more robust FC drives:SAS 1.0有显然的低成本优势,但是缺少一些FC磁盘的可靠性因素;" s, A$ c P0 [- G* F6 H$ T! v
3、# o( k6 F; k# n* W- U% o6 5 e
All other storage vendors are waiting on SAS 2.0 drives before using SAS in their midrange and enterprise systems:因此在等待SAS 2.0接口(6G/sec)用于中端企业级存储。* Z) y5 G$ \- [+ m& c
SAS 2.0 brings true robustnessn & fault tolerance, which is missing in SAS 1.0
SAS 2.0 brings full-featured errorn reporting & handling, which are missing in SAS 1.0
SAS 2.0 brings fulln integrity checking abilities, which are missing in SAS 1.0
$ z0 u# Q2 P6 H; y5 N5 t7 ~9 E& F) Z
并且提供了相应的关于SAS 1.0不够稳定的详细说明,大家可以在相关网上查到。$ W! R, u- s9 T4 ~( V- i
( Z( B& V3 r1 B6 k( R4 I+ i
关于SAS 1.0到底是否适合,可以说是业界一个比较热的话题。现阶段没有采用这种技术的存储器厂商虽然拿出了详细说明,但多少也有吃不到葡萄说葡萄酸之嫌。而采用 SAS 1.0的存储器厂商,也需要向用户展示其到底是如何解决了SAS 1.0这些天然的缺陷。因此也需要用户仔细在采购时仔细斟酌。0 Z9 ]( `, \2 \9 U
4 t% J+ J) $ ~3 ]/ a
附:从存储介质来说,最新的SDD闪存磁盘对于存储器来讲是一个非常重要的突破,尽管现在也有不少存储器能够支持SDD闪存盘,但是现在支持的阶段还只是体现在能够支持该种磁盘介质,即通过微码级别和接口的更新修改把SDD融入到现有存储器中。能够真正充分考虑到 SDD的特点并围绕其特性充分使用的存储器产品现在看起来也只有这两年刚刚被Oracle收购的SUN发布的7000系列,7000系列最大的特点是把 SDD和主机上的内存(缓存)统一起来考虑,为存储器后端的磁盘加速,既有效控制了存储器整体成本,也能在特定应用上有不俗的表现。
$ A9 D9 U5 @2 I5 `' A& u) D
需要指出的是,模块化存储器是我们日常碰到的种类最多、创新最丰富,竞争最激烈的存储器产品,因为技术创新往往更多(一般的技术创新最先在模块化存储器上实现,然后逐步移植到到企业级存储器上或者普及到入门级存储器上),本节我们从以下六个方面分析了基于集群技术的模块化存储器的不断创新思路。1 U4 m4 `' K8 }/ K" h
. U& \; `; K6 / K( t5 N8 C3 X
1、
存储控制器设计方面:更快更多的处理芯片和更多的内存
2、4 v L$ _, y* `$ S! E9 W
存储控制器设计方面:更先进的专用ASIC芯片加速
3、2 S& s# {: U% f) R# _$ Z' O
存储控制器设计方面:更先进的控制器间互连技术
4、
前端主机通道接口设计方面:更快的存储器前端主机连接
5、- c7 F: E2 s8 a
前端主机通道接口设计方面:前端主机接口更多协议的接入能力
6、
后端磁盘通道设计方面:磁盘后端采用更多的并发通道
每个存储厂商的产品都会注重其中一个或者多个方面进行技术革新,需要指出的是,不是创新越多越好或者越fashion越好。用户在采购存储器时最关键的还是其架构设计和产品特点要和您的业务系统的应用特点匹配起来,记住一点:有了存储器以后,主机变得不是万能的,但是对于存储器来说没有主机(即应用),是万万不能的。