Scale out架构存储器定义

前文中笔者花了不少时间，按照体系架构给当今市面上出现的存储器做了一些分类，将常见的各种存储器产品归纳为基于阵列控制卡技术的存储器、基于集群技术的模块化存储器、基于集群技术的模块化存储器、统一大缓存多处理器 scale up架构的存储器、缓存分布式统一编址scale out架构的存储器这四大类（见下图）。   

存储器四大分类图

什么叫Scale out体系架构呢，所谓Scale out体系架构是指基于横向扩展的体系架构的思路，即整个系统一开始由一个小机器构成，随着业务需求的增加，通过把更多的小机器添加进去并且连接在一起，组成一个更大的机器（多台机器采用统一管理），这种思路在服务器体系架构中叫做scale out，及横向扩展的集群式计算机系统。   Scale out架构和早期的三大经典体系架构（基于阵列卡技术的存储器，基于集群技术的模块化存储器和基于scale up架构的大存储器件架构）的区别在哪里呢？笔者认为，这也设备厂商本身的技术积累和市场接受程度很有关系。如果这种设计思路在行业里刚刚涌现是一种全新的设计思路，由于刚刚出现，我们暂时无法将其归纳到一个大类中，因此也称其为创新型架构，等到过一段时间，如果这种设计思路确实不错，采用这种思路的人多了，可能就会成为一个趋势，那么就会把这种体系架构单独划分为一类。Scale out就是新兴类别的典型代表。   比如说当早期3PAR公司独家采用缓存统一编址分布式处理器scale out架构时，仅仅属于一个技术创新，笔者2年前会把它归纳到创新体系架构类，而最近采用类似架构设计存储器的厂商变多了，特别是EMC最新的VMAX系列、Pillar的Axiom系列也加入到其中，因此笔者就把它单独拎出来成为了四大主流体系架构之一了（此时scale out架构也成了四大天王中的一员）。可见存储器技术的发展和体系架构的划分也是与时俱进的….   如果我们把Scale out横向扩展的体系架构进一步划分，又可以再细分成两种思路，一种是分布式缓存但统一编址的numa架构，其核心思想是多个节点的缓存是统一编址的，其代表产品是3PAR的InServ T系列和EMC的Symmetrix V-MAX系列，笔者将在后面的章节详细阐述；而另一种是每个节点各种管理控制器内部缓存的MPP分支，其代表产品包括HP公司的P4000系列（收购Lefthand公司产品得来）、IBM公司的XIV系列（收购XIV公司产品发展而来）、DELL公司的Equalogical系列（收购Equalogical公司产品发展而来）、民族产业的代表龙存科技的LoongStore系列。   各位看官可能会发现一个很有意思的问题，这种Scale out MPP体系架构的产品虽然分别为IBM/HP/DELL三大IT巨头公司所掌握，但都是通过收购而来，而那些被收购的公司往往都名气不大，可见这种架构的存储器确实是存储行业中相对的新鲜事物，而这些新兴事务也往往符合最新云计算架构中云存储的设计思路…   2 Q6 k7 j. i; R* ~) ?& ]2 H- V
下文中我们将探讨一下这个scale out体系架构的MPP分支到底是个什么东东…

采用Scale out体系架构的MPP分支的思路分析    我们前文说过，为了能够让更多的处理器协同工作，计算机工业提出了SMP体系架构，进而发展到cc-numa体系架构，这两种体系架构从本质上来讲有一个共同的特点，即各个处理器上缓存是统一编址的（从编程的角度来看，这么多处理器组成的服务器的内存是一个连续的内存空间，非常有利于编程人员设计程序），当然SMP的特点是所有的处理器访问缓存的延迟是固定的，而cc-numa架构就会出现缓存访问延迟不一致的情况，当然cc-numa带来的额外的好处就是整个系统的扩展能力会进一步加强。   当然还有另外一种情况是有些业务系统不需要统一缓存编址，比如象渲染，一个泰坦尼克大片，这么多画面需要渲染，没有必要放在一个大机器里面做，而可以把任务分解成多个小任务单独做，做好以后再收集在一起合成就可以了，这种情况下就没有必要采用numa架构和SMP架构的大机器了（节约成本），而可以采用将多个服务器节点组成一个大型的cluster。这些服务器之间通过专用快速网络连接起来形成一个虚拟的整体，当然在这种情况下每个节点的服务器内存空间是各自独立管理而不是统一编址了。   下图是采用MPP体系架构的计算机示意图：   

MPP体系结构示意图

MPP体系架构的计算机的特点：   由数百个乃至数千个计算结点和I/O结点组成，这些结点由局部网卡（NIC）通过高性能互联网络相互联接。   每个结点相对独立，并拥有一个或多个微处理器（P/C）。这些微处理器均配备有局部Cache，并通过局部总线或互联网络与局部内存模块和I/O设备相联接。   MPP的各个结点均拥有不同的操作系统映像。一般情况下，用户可以将作业提交给作业管理系统，由它负责调度当前最空闲、最有效的计算结点来执行该作业。但是，MPP也允许用户登录到某个特定的结点，或在某些特定的结点上运行作业。   各个结点间的内存模块相互独立，且不存在全局内存单元的统一硬件编址。一般情形下，各个结点只能直接访问自身的局部内存模块，如果要求直接访问其他结点的局部内存模块，则必须有操作系统的特殊软件支持。   从上述表述中，我们可以看到，MPP体系架构的计算机本质上就是我们日常生活中经常提到的cluster集群计算机，通过高速网络把多台独立的计算机互连起来。   早期由于以太网网络速度不快（当时以100Mb/sec为主），且需要较多的资源处理TCP/IP协议堆栈，因此会出现不少专用高速网络用做处理器之间的互连，然而随着技术的发展，千兆网络和高性能网卡的出现，用专用千兆网把多个节点互连也成为了当今采用MPP体系架构服务器的首选（在超算集群中我们经常可以看到此种部署）。   - l" m7 f. x6 Q4 t% U% H( w
当然如果你确实有很多钞票，在坚持MPP架构的前提下还想追求极限性能，而已可以采用Infiniband技术做高速互连，Oracle的超级数据库机Exadata-2就是个典型的例子。

Scale Out架构的MPP分支和集群模块化存储器架构优劣分析   

7 D# J% C& g  X, D& z% t8 v  f% `
HP公司内部对应MSA2000存储器

6 M% Z1 \. x$ b% Y% b2 y

上图是HP公司内部对应MSA2000存储器（又称为P2000），Lefthand存储器（又称为P4000）和EVA存储器三者产品的定位关系。HP MSA存储器我们在前文中已经介绍过属于低端阵列卡技术的存储器的代表型产品；HP EVA存储器前文中也花时间介绍过其独具特色的存储虚拟化技术，算是业界模块化存储器产品的代表性产品；而P4000产品又如何定位呢，  P4000和 EVA的市场有什么区别呢，这两款产品从本质上来说正是scale out架构的MPP分支的存储器架构和模块化存储器架构的典型代表（而且还是由一家厂商提供的），从上图中很清楚地表现了体现出来，HP EVA是传统基于控制卡技术的存储器，强调容易管理和底层存储虚拟化带来的leading TCO体验，但是EVA也有一些传统模块化存储器共同的优缺点：

7 j2 \* O5 D8 \& ^- \7 K8 ^: H( E

, {/ B$ w2 v3 x( R, b. m4 [
3 j1 g) }9 ~) y: C

   2 iSCSI协议支持方面：由于云计算环境下数据量增长和主机数量增长速度都非常快，如果全部采用SAN架构成本会相对较高（SAN交换机和HBA卡相比传统的以太网交换机和以太网卡要贵很多），不少模块化存储器（比如IBM的DS4000/5000系列）本质上还是一个基于FC SAN的存储器，现阶段对于ISCSI的支持都不是太好，以往都是通过一个FC-ISCSI的桥接器来完成，性能不高且成本较高。 当然也有一些厂商的模块化架构的存储器在多协议支持方面领先一步。比如前文提过的Netapp公司的FAS系列存储器，SUN公司（现在已经被 oracle收购）的7000系列统一存储器、还有由Oracle CEO Larry控股的Pillar Data System公司出品的Axiom系列存储器，这些存储器都能够原生地支持NFS/SCSI等各种协议接入。可以说能够非常轻松地支持各种存储访问协议是为云计算和云存储应用做了很好的技术准备。笔者先抛砖引玉一下关于云计算具备5个重要特征（后面章节将有对于云计算云存储的详细描述）：* {( Y) V$ j5 C, e

  3 针对云计算环境的优化方面：针对以VMware为代表的全球领先主机虚拟化云计算环境的架构特点，将“动车组”的概念融入到了存储器的设计思路。   所谓动车组的设计理念和传统火车设计理念的最大区别在于传统火车主要动力来自于火车头（就像传统模块化阵列的两个控制器），而动车组则不一样，除了车头配有动力装置外，每一节车厢都配有动力推动装置。下文中介绍的几个厂商的存储器都有这个特点，他们都是由一个个节点（X86服务器）组成，每一个节点添加进去后，不仅能够添加容量，还能够添加整个存储器的整体处理能力。 业界现在常见的基于此种架构的存储器厂商有以下几家：DELL公司的Equallogic系列存储器（最有代表性的scale out架构产品）；HP公司的P4000系列存储器（最x86服务器形式的产品）；IBM公司的XIV系列存储器（IBM自我定位得最高的产品）；另外还有一家民族企业国产的存储公司龙存科技的存储器也有些自己的特点。

采用Scale out MPP体系架构的Dell EqualLogic存储器介绍   Dell公司存储行业发展思路一览   前文讲过，scale out架构的存储产品是存储器行业的新兴事物，在2004年左右国外出现了很多新兴的iscsi存储器的专业存储厂商，当时笔者就预言这些厂商如果发展好了，迟早会变成其他IT巨头的囊中之物，果不其然，最终当时那个细分产品线的排行老大的公司Equallogic被服务器行业的巨头DELL收购了。 一提到DELL，很多人第一时间想到的应该是DELL的笔记本、台式机和服务器，大家知道，以前DELL的存储器产品主要是OEM EMC公司的CX系列存储器，通过DELL-EMC联合品牌提供给客户（这项联合品牌至今续签了3次，长达10多年，为业界罕见的长久合作，最近一次续签到2013年）。通过这次收购和几年的励精图治，DELL一举称为业界一个很有影响力的独立存储器公司，见下图Gartner在2009年底对于存储器厂商的定位评叙（Gartner魔力四象限图）。   

4 u; k. N$ ~2 a5 [% u1 z
Gartner魔力四象限图

DELL能够取得这样的成绩，肯定是和前些年收购昔日iSCSI细分存储器市场的老大EquaLlogic紧密相关，笔者查到了以下数字：通过 Garnter 2009年的报道可以看到，DELL从07年的第四大模块化存储器厂商一举增长为第一大模块化存储器厂商（也有数据说是第二），同时在2009年第三季度 DELL贡献的CX销售额占EMC CX系列的销售额的25%，在2009年第三季度，Equallogic的销售量占整个DELL公司模块化存储产品销售量的35%，占DELL公司 iscsi存储器销售量的48%; 而在DELL公司刚刚发布2011财年第一财季报告。戴尔整体的存储收入为5.54亿美元（请注意2007年是2.2亿，2008年是2.8亿，存储销售额短短3年接近已经翻翻。厉害），同比增长3.7%。EqualLogic收入呈火箭式增长，同比增长78%。PowerVault产品收入也同比增长了 20%。 下图是DELL公司存储器产品的一览和定位      

! m2 H. a; n1 a6 a; ?! S# [
DELL公司存储器产品的一览和定位

基于上述这些公开的数据，笔者得出以下结论：   

1 模块化存储器市场的增长的确是整个存储行业增长最快的市场，而在这个市场中有服务器的公司占据了天然的优势（不然EMC也不会抢着和DELL联盟，HDS 也不会主动和Lenovo合作，当然据说EMC和DELL结盟的第二个好处是因为EMC存储器里面的Intel芯片多是从DELL那边统一向Intel公司集中采购的，以DELL对于Intel芯片的采购量来讲，不难想象EMC采购到的Intel芯片成本应该很便宜）； 2 G4 p  P4 S4 F$ E7 r& y$ k

2 模块化存储器市场中，iSCSI协议由于其性能价格比的优越性，其发展远远高于传统的SAN市场，特别是10Gb网络的成熟更是如虎添翼；

3 就DELL公司本身来讲，自有的EqualLogic产品是其将来的主要发展方向；
4 基于scale out架构的体系架构是适应云计算体系架构的不错的选择。

Dell EqualLogic系列存储器设计思想   下面我们来看看这个当年号称iSCSI第一品牌的EquaLlogic存储器到底是个什么东东，设计理念到底是什么。 8 _* V% P# s9 g( s3 i$ W- d9 H7

  1 动车组架构的控制器：首先要注意的是EquaLlogic系列存储器是采用的动车组的概念（scale out架构的MPP分支）来设计存储器的，所谓动车组即使指其抛弃了传统的双控制的概念，每一个节点都有自己的存储控制器、磁盘和缓存，然后通过网络把各个节点互相连接起来，由于每个节点的控制器上不是内存统一编址的，因此称为scale out MPP架构。 4 P* j* j: [: F& J' i; i' s+ i

) z) Y" z9 u9 x* {" p
动车组

如下图所示，每个PS6000系列根据其配置的磁盘不一样，又细分为PS6000XV（内置15000 RPM磁盘）、PS6000X（内置10000 RPM磁盘）；如果配置的是10G以太网卡，则叫PS6010系列。这里再次提醒一下大家，这种架构的存储器每次扩容，不仅仅只是扩展磁盘容量，而是连着控制器头一起扩展（包括存储控制器和缓存，下节介绍HP P4000同样如此）。Dell Equalogical系列存储器的最新产品线为6000系列并且细分成很多款型号，可以到www.dell.com查询到相关产品的具体参数。

" F& Z1 ?) l4 y4 s- C' U
EquaLlogic系列存储器

2 每个节点的冗余存储控制器架构设计：DELL Equalogic每个节点还是按照经典的存储控制器的思路来设计的，这一个设计思想有利于整个存储器系统的安全性、可靠性和高性能。 如下图所示，每个节点有两个控制器，双电源，和2GB带电镜像保护缓存。这一点至关重要，也是DELL Equalogic和其他scale out架构存储器厂商在单个节点设计上最不一样地方。其他scale out架构的存储器厂商往往只是用一台普通的PC机作为节点，用普通内存充当读缓存加速从而缺少带电镜像缓存做写IO加速，而且如果一个节点只是一台PC 机的话往往是个单点隐患。

8 x. c" e; z. }* u9 `6 R( C
DELL Equalogic节点设计

3 跨多网络交换机、跨多控制器的存储虚拟化技术：前文说过，Dell EquaLlogic存储器体系架构很适应于云计算应用类型，那么具体怎么做到的呢，如下图所示，其存储器分层三个层面展现：第一是逻辑层：通过一个统一的IP地址呈现给主机，不管多少个控制器、多少容量，跨越多少个物理交换机，在TCP/IP网络上都是不变的IP地址；第二是虚拟化层，多个控制器融合成一个逻辑控制器，底层当作一个统一的存储池，底层完全条带化打散（类似于前面章节中介绍的EVA阵列底层虚拟化机制），并且根据业务需求和磁盘资源能力智能在多个节点间移动数据以满足主机端的IOPS需要（类似于前面章节中提到的VA阵列的存储底层自我优化功能）；第三层这是物理层，即我们看到的一个个 P6000系列的存储控制器，每个控制器间通过以太网络一个个连接起来…

Dell EquaLlogic三层面展示

实事求是地讲，这种思路集中了前文中提及的HP EVA和VA虚拟化存储控制器的几乎所有优点，大大简化了阵列本身的管理，而其scale out动车组架构、容量超载分配和扩网络交换机虚拟化的功能更使得即使在超大容量数据增长环境下也能轻松应对（只需根据业务量增长主机、网络和存储层增加相应组件即可），这可能是DELL愿意花重金收购EquaLlogic的原因把（14亿美金啊）。

! ' g/ r/ a0 u# G' P
Dell EquaLlogic网络架构

4 存储器附带的存储软件完全免费： DELL EqualLogic存储器本身提供了非常丰富的存储软件，值得一提的是这些软件是完全免费的。笔者认为这点非常有吸引力。要知道很多传统的存储器厂商各种存储软件虽然有用，但是其license往往有非常烦琐且经常改变的收费方法（比如传统做法中容灾和克隆往往按裸容量或按RAID后容量收费，snapshot按照每对存储控制器收费等等），而在新兴的存储器上都是免费的（这点HP P4000和IBM XIV也类似）。 免费总比花钱来得好，这么多软件反正都是免费的，不用白不用，因此在考虑存储器采购时，预算紧张的用户不妨考虑下这个因素。

存储器附带的存储软件

% v% d' n" T& o- c' ^: I6 U1 I+ d8 Q
除了以上几个突出特点外，笔者再介绍几个基于Scale out架构的MPP分支体系架构设计的存储器常见的富有特色的功能：

自动精简配置技术

如何实现存储卷的在线扩充，是困扰很多存储管理员的一个老问题。因为不是所有的操作系统和应用都支持卷的在线扩充，往往要把应用停下来，才能调节卷的容量，有时还要重启前端主机，才能识别扩充后的卷。而无论是关闭应用还是重启主机，都会给企业的业务造成干扰，给存储管理员带来压力。 自动精简配置技术可以很好地解决表面上的问题，自动精简配置卷可以预先给应用分配一个较大的存储空间，这个空间是虚拟的，可比实际物理空间大得多。有了这个虚拟空间，如果应用发生变化，需要更多的实际存储空间，管理员就可以在不停机的情况下，动态扩展物理存储平台（比如增加硬盘）。

自动精简配置技术是一项不错的新兴技术，不过很多新技术在解决老问题的同时，都会带来一些新的问题，自动精简配置技术也是如此。总的来看，当前的自动精简配置技术有三个致命伤：一是仍然要静态地规划存储，在创建卷的时候要与阵列、硬盘和RAID等物理设备挂钩。 如果管理员日后想调整这个卷，会非常麻烦；二是自动精简配置卷的空间只能解决"放"出去，但没有解决"收"回来，如果一定要把置空的空间"强行"收回，过程会很复杂；三是带来很多额外的成本。很多管理员会发现自动精简配置卷被创建出来后，无法与原有的备份、恢复等软件兼容，无奈之下，只能在支付了自动精简配置软件的费用后，再去购买专门的备份、恢复等软件，并且还要定期支付这些软件的维护费用。 请注意：卷空间收回功能是一个非常有意义的功能，与自动空间精简功能配套使用效果更加好。2 `" ^3 ~: v' O$ G! O) H! m

磁盘热点消除功能 % T# s$ s& r2 i, X

传统的自动精简配置卷与硬盘和RAID锁定得很死，卷内磁盘即便因I/O操作频繁成为了"热点"，也无法"求助"于卷外相对空闲的硬盘。而运用底层容量虚拟化技术，则完全不会出现这一问题。系统会根据卷内磁盘的I/O繁忙程度，自动调用阵列柜内的其它磁盘或其它阵列柜为其"散热"。这种自动消除磁盘底层热点技术可以智能地优化存储系统的性能，实现性能的动态负载均衡。2 Z" k& H6 ~; ~  x: [

虚实卷间任意的容灾功能 0 Y0 F% _$ `+ q, W9 X7 e8 p0 w0 X' [

这里所提到的所谓虚实卷是指：把使用自动精简配置技术的存储卷称为虚卷 V－vol，而传统固定空间需求的卷称为P-VOL，新型的容灾方案不仅支持本地的容量虚拟化，而且还能够以先进的方式支持长距离的容量虚拟化，支持任意模式（P-V,V-V,P-P,V-P）的容灾。比如传统的方式下，两个城市间做容灾方案往往需要硬件和存储空间上的匹配，并必须传输相关卷的整体容量 (包括所有的没数据的空置空间)。 2 B9 I+ V, S! p: Y( G; X
而基于容量精简容量虚拟化技术，两个点之间存储空间完全不必一定要"一一对应"，并且存储管理员只需传输卷中实际存储的数据即可，这会节省大量的存储空间和网络带宽，从而给远程灾备带来极大的灵活性。长距离的容量虚拟化技术而且还适用于多对一的容灾方案, 因为中央灾防御区的总存储空间不需要相等于所有容灾点的空间总和，在实施成本上的巨大节约变成可以执行方案。消除了传统虚拟化存储器经常碰到的first write penalty的问题。

采用Scale out MPP体系架构的HP P4000系列存储器介绍   HP StorageWorks P4000系列存储器的历史 ! G9 M' J7 o' ^# _. M
8 E+ t# d. J& @( d# ]  w1 M3 I6 z
. p" V& K) n! T8 w: N& ?! o
   除了上文中介绍了Dell收购的EqualLogic公司以后一跃从一个专业的服务器厂商变成了专业的服务器和专业的存储器厂商，可谓春风得意。当然别的服务器厂商也看着有些眼红，结构当年在iSCSI细分存储器市场排名第二的厂商叫Lefthand（取名“左手”，莫非因为美国很多是左撇子？）就被 HP公司用4亿美金收购的（比EquaLlogic便宜了不少），当时着实让我吃惊不小，我原来以为应该是其他服务器公司（比如IBM，IBM没有自己生产的中端存储，其中端主打产品DS4000、DS5000是OEM LSI公司的产品，而N系列的NAS是OEM Netapp公司的产品），没有想到是HP，因为HP在中低端模块化存储器产品线已经有了EVA存储器和MSA系列存储器（收购Compaq后得来），干嘛还要花大价钱收购Lefthand呢？ HP公司花了好几年把这款存储器整合进其庞大的Storageworks产品线中，取名为P4000系列。我们以HP P4000为例来看看这种MPP架构的存储器的一些和传统模块化阵列如HP的EVA存储器不一样的特点： •Storage Clustering −Scale performance, capacity, redundancy non-disruptively without taking applications off line •Network RAID −Achieve higher levels of data availability beyond standard hardware RAID •Thin Provisioning −Increase capacity utilization and reduce storage costs with thin provisioning integrated throughout the architecture •Snapshot −Simplify, consolidate, and increase reliability of backups •Remote Copy −Implement a consolidated DR strategy for remote and branch offices with Remote Copies 需要指出的是thin provision（容量精简配置）、snapshot（快照）和remote copy（远程复制）属于存储控制器中针对数据保护的经典软件功能，本文中就不多介绍了。    9 . s6 K9 W/ U: \/ H  Y

HP StorageWorks P4000存储器介绍  , S1 _) n" K/ L$ w" W. ~

  网络RAID技术探讨  + v" Z! m' }; y(
+ }2 P4 U  i/ q# \, w( `0 ~/ H0 L
而另外一个最让笔者吃惊的技术就是P4000 network RAID技术。笔者更加愿意把这种技术称为storage cluster，其原理在于一个主机同时连接到两个存储器，当一个存储器失效、掉电down机后，另外一台存储器可以无缝地接替失效存储器的工作，整个过程对于主机和应用系统完全透明，不需要任何人工干预。 Storage cluster可以说是存储保护的最高境界之一，以前只有购买IBM公司大机的Hyperswap功能才能做到（传说中的IBM大机 Mainframe，多贵啊）。在开放系统平台，这个功能也仅仅能够在企业级大存储器平台上有可能实现，如H系（HDS和HP公司）的USP/XP系列存储器的HAM storage cluster功能，或者EMC最新发布的VPLEX，且这些存储软件功能都只是在实验阶段或者预发布状态。 然而HP P4000这么款便宜的存储器就能很轻松实现这个功能，我第一次在现场看到演示时也大为吃���，研究过后才发现其奥秘所在：传统的storage cluster技术多用于SAN环境，SAN是一个两层协议，以WWN号寻址为基础，在SAN层面很难实现透明切换，需要通过很多复杂的手段去“欺骗”主机 和文件系统；而P4000的network RAID功能是基于iscsi协议，底层是TCP/IP，基于TCP/IP的丰富的功能，底层两个阵列间透明的切换就变得轻而易举，轻松实现了… 笔者发现这个奥秘后不禁长叹：一个好的网络基础架构真的很重要啊，难怪那么多SAN网络的厂商都消失了（McData、CNT、InRange等），而 SAN市场的巨无霸Brocade也收购了Foundry，看来IP协议也将慢慢统一存储市场….   
! ~2 e: P- v, k
2 F  L* Q& p+ ~- `3 e
HP StorageWorks P4000系列评点

1 S( `  A& N- V* k
  前文说过，HP StorageWorks P4000设计的概念是“存储器就是计算机”，即在新购X86服务器装个软件就成了，甚至连服务器都不用买（IBM XIV的设计思想也和P4000类似），直接灌入软件即可，这种设计思路有以下优势： 6 C, w/ A" q% v4 P3 {3 K

  1 成本优势：最大优点就是成本优势。通用服务器的备品备件都很便宜（相对存储器的备品备件），而是市场上都可以找到，完全是标准化设计；

2 升级优势：PC服务器升级速度往往比存储器升级速度要快很多，而如果采用P4000这种架构，存储器的升级也很容易实现； : I) Z1 ]% y# a6 b  ?: ]/ R. b

3 管理优势：P4000存储器底层采用了存储虚拟化和智能调优技术。注：几乎所有的scale out MPP体系架构的存储器，都会采用基于磁盘底层lun打散虚���化的技术（Dell EqualLogic、HP P4000和后面要谈到的IBM XIV、国内的龙存科技的产品，思路差不多，实现方式上稍微有些不同）。笔者认为这很大程度上体现了作为新一代存储器天然优势，在设计之初就采用了底层虚拟化的概念，完全没有历史包袱，而很多著名的、历史悠久的存储器往往因为要实现和上一代的兼容、或者支持mainframe等历史原因，并没有采用 native的底层打散的技术，而是在做好lun以后再在控制器层做一层虚拟化；

4 负载均衡：scale out MPP架构可以扩展到多个节点（传统的模块化阵列仅两个控制器），因此这种架构的存储器可以实现多个节点的负载均衡，自动化管理； 当然，如果要仔细挑刺，笔者认为HP StorageWorks P4000设计上还是有些遗憾，

主要问题在于：  . X0 O2 w8 V  D

1 最重要的一点就是其每个节点作为存储节点来讲实在是太不专业了（IBM XIV也是如此），每个最小配置的节点就是一台PC服务器而没有针对数据存储的特点做相应的优化，用普通的内存来充当cache。因此其实P4000最小配置的每个节点实际上是相当于只有一个控制器（一个单点故障），而且普通内存不带电保护明显不利于写IO加速。这一点Dell EqualLogic做得要专业得多，最小配置的每个节点有两个控制器，并配置镜像的带电缓存。 7 J; Q6 ]; J* F9 P  U% e6 b

2 了解了这点后，再回过头来看HP P4000的network RAID功能就不那么神秘了，P4000的network RAID功能实在是不得不做的功能，通过普通网络作为心跳把两个P4000的PC服务器组成一个cluster，提供高可靠性。

采用Scale out MPP体系架构的IBM XIV系列存储器介绍

还是那句话，存储器也是计算机，而IBM公司的XIV存储器也是scale out MPP架构的典型性代表。有一点和别的厂家不一样，IBM公司非常高调地把XIV存储器定位为一个高端存储，并列出一些案例来证明是高端（反正都是国外的）。 4 \6 x( q. z& U& O. r9 V
1 a: u7 l# _& L3 ?, s
下面我们来看看这个XIV到底是个什么东东：
  H$ P( c0 [( c  u! P

IBM XIV存储器的体系架构图

上图是IBM XIV存储器的体系架构图，此种架构的存储设备就是一堆x86体系架构的紧耦合设备通过并行软件粘合起来，采用统一的全局的文件系统软件实现了“数据存放在所有硬盘之上”这个功能，因为全局文件系统本身就是跨在所有磁盘上的。 这些x86服务器可以分成两种类型，上面的6个我们称为Interface Module（除了负责存储数据以外还负责对外和主机相连，Interface Module通过FC口或iSCSI口与外部主机相连），下面的九个我们称为Data Module（其主要功能是用于存储数据）。把这15个Module连接起来的就是两个高速的以太网络，9个Data Module和6个Interface Module都以冗余地方式连接到内部交换机中。 我们可以看到，XIV从物理架构上其实就是一个15台x86服务器组成的计算机集群，集群中的每个节点分别负责处理存储IO的相关工作。其实这种架构乍一看和我们前文介绍过的scale-up分布式处理器架构的大存储器还是很类似的，也是通过分布式的多个处理器处理整个IO流程，唯一不一样的是scale up是统一缓存编址；而XIV整个存储器采用了MPP体系架构，每个节点独立管理自己的缓存，整个缓存空间不是统一编址。 我们前文说过，设计出XIV的大侠就是存储行业顶顶有名的Moshe Yanai同学，scale up架构大存储器的鼻祖EMC Symmetrix就是他在上个世纪90年代的经典作品（当时称为MOSAIC 2000架构）。从scale up到MPP体系架构的转换，这会不会是存储行业变化的一个新的发展方向呢？我们将拭目以待。笔者以为，假以时日，基于这种体系架构的存储器应该也可以单独拎出来自成一派。 当然XIV这款存储器除了在存储体系架构方面的一些突破以外，还有一些其他的亮点，比如IBM XIV能够提供SAN光纤接口，可以无缝地融入到FC SAN环境中，这点前文提到了两家存储产品到现在���做不到。XIV数据保护方式和传统磁盘阵列的RAID技术不一样，XIV采用了以1MB为粒度的单元将数据写入到各个存储模块中，通过内部通过智能算法，实现数据在各模块的均衡分布（前文在介绍HP P4000和Dell EqualLogic系列存储器中都有提过相关概念）。XIV希望通过打散写入的方式来提高性能（多个磁盘并发相应主机端的IO请求），据IBM称这种特殊的打散的方式也可以加快数据的恢复速度，具体细节参考下图：

' F# B5 U5 y) `% @
IBM XIV提供SAN光纤接口

IXIV为scale out架构的MPP分支体系架构带来不少新意思，但是XIV也有一些可以进一步改进的地方：

1.容量消耗有些浪费，XIV空间利用率确实低了点，第一个版本中180块1TB的磁盘空间能够提供80TB的可用空间。笔者认为看起来较低的空间利用率是因为在XIV 180块磁盘中同时存储了元数据(meta data)和实际数据的原因。当然在存储工业里面一个公开的秘密就是所谓标称1TB的磁盘被操作系统格式化后至少也会减少一成甚至更多的可用空间，即 180块1TB的磁盘即使不做RAID，其实也只有160TB左右的可用容量。

2.XIV的设计思路有些意思，但IBM一开始就想把XIV定位于高端存储器推销给客户，对于这一点笔者是持保留意见的，XIV现阶段只支持SATA磁盘甚至连SAS磁盘都不支持，为什么不采用转速更加快的SAS磁盘呢（其竞争对手HP P4000和DELL Equalogical阵列都能提供SAS磁盘呢，甚至个别型号还能提供SDD磁盘的支持）；SATA盘性能不高，而且安全可靠性也不如FC和SAS磁盘，因此现阶段就把XIV存储器定位于高端存储值得商榷；

3.XIV用于内部互连各个模块的千兆以太网络似乎也不是太高级，如果下一代能够升级到infiniband交换机看起来就显得高档了。但是笔者认为在 XIV的现阶段选择千兆以太网络和SATA磁盘都是对应匹配的，即整个系统能够做到各个部分都不是瓶颈。如果仅仅是为了加SAS磁盘而��SAS磁盘、或者仅仅单方面升级到一个更加快速的内联交换机，对于整个XIV存储系统的性能再提升也无太大意义。 当然XIV采用MPP体系架构的最大有点就是其可扩充性了，其基于工业标准服务器为基础的scale out设计思想使得整个系统的扩充变得非常容易，这时MPP架构的灵魂，但似乎在这一代的产品中还没有真正实现，用户现在只能购买固定配置的XIV存储系统。。

3 Q2 Y+ z3 N9 c% y6 q. r7 l$ t
XIV采用MPP体系架构

关于IBM公司XIV存储器的更多资料大家可用和厂商咨询（特别是IBM赫赫有名的红皮书网址上有很多有用的东东），笔者在这里提到这款产品，并把他归纳于Scale out架构的一种，是因为其采用了MPP的体系架构和底层完全打散的数据保护技术，而且设计者算是存储行业的泰斗，XIV也算是存储行业里有些新意思的一款产品。

采用Scale out MPP体系架构的IBM XIV系列存储器介绍

还是那句话，存储器也是计算机，而IBM公司的XIV存储器也是scale out MPP架构的典型性代表。有一点和别的厂家不一样，IBM公司非常高调地把XIV存储器定位为一个高端存储，并列出一些案例来证明是高端（反正都是国外的）。 4 \6 x( q. z& U& O. r9 V
1 a: u7 l# _& L3 ?, s
下面我们来看看这个XIV到底是个什么东东：
  H$ P( c0 [( c  u! P

IBM XIV存储器的体系架构图

上图是IBM XIV存储器的体系架构图，此种架构的存储设备就是一堆x86体系架构的紧耦合设备通过并行软件粘合起来，采用统一的全局的文件系统软件实现了“数据存放在所有硬盘之上”这个功能，因为全局文件系统本身就是跨在所有磁盘上的。 这些x86服务器可以分成两种类型，上面的6个我们称为Interface Module（除了负责存储数据以外还负责对外和主机相连，Interface Module通过FC口或iSCSI口与外部主机相连），下面的九个我们称为Data Module（其主要功能是用于存储数据）。把这15个Module连接起来的就是两个高速的以太网络，9个Data Module和6个Interface Module都以冗余地方式连接到内部交换机中。 我们可以看到，XIV从物理架构上其实就是一个15台x86服务器组成的计算机集群，集群中的每个节点分别负责处理存储IO的相关工作。其实这种架构乍一看和我们前文介绍过的scale-up分布式处理器架构的大存储器还是很类似的，也是通过分布式的多个处理器处理整个IO流程，唯一不一样的是scale up是统一缓存编址；而XIV整个存储器采用了MPP体系架构，每个节点独立管理自己的缓存，整个缓存空间不是统一编址。 我们前文说过，设计出XIV的大侠就是存储行业顶顶有名的Moshe Yanai同学，scale up架构大存储器的鼻祖EMC Symmetrix就是他在上个世纪90年代的经典作品（当时称为MOSAIC 2000架构）。从scale up到MPP体系架构的转换，这会不会是存储行业变化的一个新的发展方向呢？我们将拭目以待。笔者以为，假以时日，基于这种体系架构的存储器应该也可以单独拎出来自成一派。 当然XIV这款存储器除了在存储体系架构方面的一些突破以外，还有一些其他的亮点，比如IBM XIV能够提供SAN光纤接口，可以无缝地融入到FC SAN环境中，这点前文提到了两家存储产品到现在还做不到。XIV数据保护方式和传统磁盘阵列的RAID技术不一样，XIV采用了以1MB为粒度的单元将数据写入到各个存储模块中，通过内部通过智能算法，实现数据在各模块的均衡分布（前文在介绍HP P4000和Dell EqualLogic系列存储器中都有提过相关概念）。XIV希望通过打散写入的方式来提高性能（多个磁盘并发相应主机端的IO请求），据IBM称这种特殊的打散的方式也可以加快数据的恢复速度，具体细节参考下图：

' F# B5 U5 y) `% @
IBM XIV提供SAN光纤接口

IXIV为scale out架构的MPP分支体系架构带来不少新意思，但是XIV也有一些可以进一步改进的地方：

1.容量消耗有些浪费，XIV空间利用率确实低了点，第一个版本中180块1TB的磁盘空间能够提供80TB的可用空间。笔者认为看起来较低的空间利用率是因为在XIV 180块磁盘中同时存储了元数据(meta data)和实际数据的原因。当然在存储工业里面一个公开的秘密就是所谓标称1TB的磁盘被操作系统格式化后至少也会减少一成甚至更多的可用空间，即 180块1TB的磁盘即使不做RAID，其实也只有160TB左右的可用容量。

2.XIV的设计思路有些意思，但IBM一开始就想把XIV定位于高端存储器推销给客户，对于这一点笔者是持保留意见的，XIV现阶段只支持SATA磁盘甚至连SAS磁盘都不支持，为什么不采用转速更加快的SAS磁盘呢（其竞争对手HP P4000和DELL Equalogical阵列都能提供SAS磁盘呢，甚至个别型号还能提供SDD磁盘的支持）；SATA盘性能不高，而且安全可靠性也不如FC和SAS磁盘，因此现阶段就把XIV存储器定位于高端存储值得商榷；

1 D* y( z' 5 O
3.XIV用于内部互连各个模块的千兆以太网络似乎也不是太高级，如果下一代能够升级到infiniband交换机看起来就显得高档了。但是笔者认为在 XIV的现阶段选择千兆以太网络和SATA磁盘都是对应匹配的，即整个系统能够做到各个部分都不是瓶颈。如果仅仅是为了加SAS磁盘而加SAS磁盘、或者仅仅单方面升级到一个更加快速的内联交换机，对于整个XIV存储系统的性能再提升也无太大意义。 当然XIV采用MPP体系架构的最大有点就是其可扩充性了，其基于工业标准服务器为基础的scale out设计思想使得整个系统的扩充变得非常容易，这时MPP架构的灵魂，但似乎在这一代的产品中还没有真正实现，用户现在只能购买固定配置的XIV存储系统。。

3 Q2 Y+ z3 N9 c% y6 q. r7 l$ t
XIV采用MPP体系架构

关于IBM公司XIV存储器的更多资料大家可用和厂商咨询（特别是IBM赫赫有名的红皮书网址上有很多有用的东东），笔者在这里提到这款产品，并把他归纳于Scale out架构的一种，是因为其采用了MPP的体系架构和底层完全打散的数据保护技术，而且设计者算是存储行业的泰斗，XIV也算是存储行业里有些新意思的一款产品。

其他厂商存储器和关键技术的介绍, c# N  ?6 k  J# R

可以说基于Scale out MPP架构的存储器算是给整个存储行业带来了不少新思想，同时也降低了存储器的设计门槛（存储节点采用标准服务器或者优化后的服务器，存储网络多采用以太网，都是标准的东东）。一旦架构标准化后，竞争将变得更加激烈，特别是国内厂商就有了用武之地（参考超级计算机排行版 top500www.top500.org，自从scale out MPP架构的计算机集群技术成熟后，中国的超级计算机在top500中层出不穷）。 因此国内也出现了不少基于此种存储器架构的新兴存储厂商，比如龙存科技的存储器产品LoongStore系列集群存储系统。LoongStore集群存储系统率先在业界推出使用开放架构标准组件构建的存储系统，它为客户提供一个非常具有成本效益和领先技术的存储解决方案。 开放架构标准组件体现了最新的商业技术，允许LoongStore系统大幅度提高性能并降低成本，并且同时快速使用已经通过测试的新硬件组件。使用标准组件的LoongStore系统能把新硬件轻松添加到已经运行LoongStore系统环境。这是通过一种简单、完全无缝的、非破坏性的进程实现的，并且不需要任何的管理。升级后的系统企业即可立刻使用新增加的存储容量和性能。大家可以到http://www.loongstore.com查询到相关信息。
+ l9 q0 o. s  v* O5 y+ ^( @& g
8.8 总结$ U" Y2 Y2 L" j5 H
+ B, k( ?6 h; F0 A; M
目前，业界对于基于scale out架构MPP设计思路的集群存储产品还没有一个统一的标准，因此，各厂商所提供的产品都宣称具有独特的功能。一般来说，这种类型的产品都是采用分布式操作系统，能将多台物理存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池(也叫统一命名空间)，应用可以通过该访问接口非常容易地管理存储池后端物理存储设备上所有的磁盘，充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的负载均衡策略，从多台存储设备上存储和读取，以获得更高的存储性能。4 k# W+ J% A6 q$ }3 P; ?- a

1. 标准平台，高扩展性：它针对集群存储内部构成元素而言。一般集群存储应该包括存储节点、前端网络、后端网络等三个构成元素，每个元素都可以非常容易地采用业界最新技术而不用改变集群存储的架构，且扩展起来非常方便，像搭积木一样进行存储的扩展。特别是对于那些对数据增长趋势较难预测的用户，可以先购买一部分存储，当有需求的时候，随时添加，而不会影响现有存储的使用。0 K8 V' f( o+ N3 y# ( {
1 M9 k/ `& V3 Y0 n4 e3 p
2. 分布式操作系统：所有对集群存储的操作都经由分布式操作系统统一调度和分发，分散到集群存储各个存储节点上完成。使用分布式操作系统带来的好处是各节点之间没有任何区别，没有主次、功能上的区别，所有存储节点功能完全一致，这样才能真正做到性能最优。

3. 统一命名空间：统一命名空间在很多厂家的存储概念中都出现过。在集群存储中，统一命名空间强调的是同一个文件系统下的统一命名空间。它同样可以支持上PB级别的存储空间。如果是通过将若干有空间上限的卷挂载到某一个根目录的方式来达到统一命名空间，其效率和出现存储热点时的性能将会大大低于把上PB级别的存储空间置于同一个文件系统下管理的统一命名空间。
& `1 Q$ z% ^  X' C$ U+ p2 Z7 a
4. 可管理性：提供一种集中的、简便易用的管理方式，对客户端没有任何影响，采用业界标准的访问协议(比如NFS，CIFS)访问集群存储。 - R0 d* G) Y* Z! G. [

5. 负载均衡：通过分布式操作系统的作用，会在前端和后端都实现负载均衡。前端访问集群存储的操作，通过几种负载均衡策略，将访问分散到集群存储的各个存储节点上。后端访问数据，通过开放式的架构和后端网络，数据会分布在所有节点上进行存放和读取。 - k7 y5 t9 Q# h) U

总之：- o$ U- E; z/ n! H% c3 T, V

随着存储技术的发展和体系架构的演进，在竞争最激烈中端存储器市场出现了两种体系架构，一种是基于集群技术的模块化存储器架构，而另外一种是基于 scale out架构MPP分支的存储器架构（Gartner把这两种架构都统一到中端模块化存储分类中），两种设计思想在架构方面各有优点。6 I9 ]$ ]$ ^) b/ P) f5 B7 i
前者体系架构经过千锤百炼，稳定可靠，更加适合于结构化数据，且能提供高效且可控制的存储性能，但当容量到一定程度后，控制器能力的面临扩展性的挑战；后者的初始控制器性能一般，但能够随着容量和存储节点的增长控制器性能逐步增加，广泛使用各种新兴的存储虚拟化技术，属于行业内的新兴力量，更加适合于海量非结构化数据应用。广大客户在选型时可以据初期和中期预算，结合IT业务系统的应用特点做出选择。