不知不觉我们开始谈到了企业级存储器这个级别的产品，这是传统的存储行业最高端的产品，能够在这个行业里面出现的产品一般都和高性能、高可靠以及高价格联系起来，

Gartner定义的这个富人俱乐部里的企业级存储器产品包括如下：

  首先IBM已经停止了DS6800的新货供应；  其次，随着SUN被Oracle收购，到2010年3月份我们可以很容易看到以下消息：作为SUN被Oracle收购的后续影响事件，Oracle-SUN将中止存储方面长期以来与HDS公司的OEM合作关系。 HDS方面也同时表示，该公司与SUN签订的长达9年的OEM合作协议将在3月31日正式结束，并且HDS认为随着Oracle收购SUN，目前正是解除双方合作关系的时机。其实这件事情发生并不奇怪，仅仅在2009年12月份Oracle和SUN合并后发布了专用数据库机Exadata-2以后的公司发布的宣传资料上可以看到有其Exadata-2运行数据仓库的性能数据和其他竞争对手的性能对比��� 除了业界常见的竞争对手公司产品如EMC/TERADATA/NETEZZA等外（这也是Larry Ellison的常见激进推荐自己旗下产品的做法），我们可以惊奇地HITACHI USP V（sun当时转销HDS阵列取名叫9900V系列）也列在上面，要知道那时候还是HDS和SUN还继续着OEM关系啊。  据网上消息，业界评论说SUN在内部评测过HDS的下一代高端存储器技术后，还是觉得真正的顶级高性能的数据库系统应该是把主机、存储器、数据库和文件系统卷管理结合起来整体设计（也就是现在的Exadata的设计思路）。  当然这个事情对于HDS有点不划算，因为早年SUN在中高端除了转销HDS还有另外一个选择即6920，6920是基于Sun在2002年以大约1.65亿美元收购Pirus获得的技术，在存储虚拟化方面99系列和69系列两个产品线有些重叠。  为了鼓励SUN全心全意转卖99系列，在 2007年3月双方达成协议，Sun终将6920转让给HDS，HDS当然不可能继续投资研发在连SUN都不想要了的6920存储平台上，这也就当是日立花钱断了SUN继续卖6920的后路。世事难料，看来在oracle收购以后，SUN-HDS连续9年在高端存储器的合作关系现在看来也要结束了。  5 t0 l0 n9 \4 ?+ Z# N

而Oracle在宣扬Exadata-2高性能时用的slides，可以看到直接把日立的存储器也放在竞争对手里面(尽管当时还有OEM关系)。

我们再来回顾一下Gartner是如何定义high-end enterprise disk arrays的呢？: u/ e) y+ M/ X$ C& l! k

其定义标准为：  Use a multiple controller architecture 使用多控制器体系架构；  Support mainframe and open-system environments 支持mainframe和开放系统；  Support FICON, Enterprise Systems Connection (ESCON) or Fibre Channel host connectivity 同时支持FICON/ESCON和FC光纤通道接口；  Support the z/OS operating system and/or other mainframe operating systems 支持z/OS和其他mainframe操作系统；  以笔者的观点，以上的标准有一点出身血统论，众多条件中把该存储器对于IBM Mainframe的支持作为很重要的因素。个人认为意义不大，应该从计算机的体系架构设计思想来定义怎样才是一个真正的企业级高端存储器。  * _5 T% }5 B" D* }/ w

下面我们来聊聊统一大缓存多处理器Scale-up架构存储器的设计思路。

在这个思路上坚持的有两个派系，E派系和H派系。第一E系列，即由存储巨头EMC公司为代表销售；另外一个派系即H系列，由日立公司制造，现在由两个公司负责全球销售，一个是日立的全资销售子公司HDS负责在日本以外的地区销售（但日本国内是由日立公司直销），而另外一个是业界的IT具体HP，HP OEM其产品称为XP系列，由于两个公司（HDS和HP）公司名字前面都有个H字母，因此笔者称之为H系。

统一大缓存多处理器Scale-up架构存储器的设计思路    大家还记得赵本山春节文艺晚会上的经典小品三部曲么，《卖车》、《卖拐》、《功夫》，以前两部都是赵本山扮演的大忽悠去忽悠范伟，而到了第三部，赵本山是带着几个徒弟一起上门的，难怪当时范伟说了那句经典的话：“都组团忽悠我来了”。  存储器进一步发展也是这样，为了进一步提升性能，最开始的方法是想方设法提高单个控制器的处理能力（就像赵本山大忽悠不断提高忽悠水准一样），我们说过存储器也是计算机（当然主要是指存储器的控制器部分是计算机），存储器这台计算机如果是采用通用芯片的话其提高性能的方式第一是用更快主频的CPU（这个去找Intel，AMD和IBM powerPC芯片部门），而第二种方法就是在一个控制器上又多核CPU，通过多核（通常是2－4个）来提升单个控制器的处理性能，然后再把两个控制器做成集群提供更高的可靠性（参考第五章基于集群技术的模块存储器设计思路），EMC CX的设计思路就是一个典型的例子，CX200控制器里是单路CPU，CX600控制器里是双路高主频CPU。  而到了高端阵列，后来就要发展到要用到多个（超过2个）控制器才能满足性能需求（即所谓组团忽悠），我们需要想别的办法把数量超过两个以上的控制器组合起来协同工作。这种把多路CPU组合在一起工作的设计方式在计算机体系结构里称为共享存储对称多处理机系统(SMP)架构。   那么我们来看看SMP体系架构这个东东具有哪些特征：  对称共享存储：系统中任何处理器均可直接访问任何存储模块中的存储单元和I/O模块联接的I/O设备，且访问的延迟、带宽和访问成功的概率是一致的所有内存地址单元统一编址。各个处理器之间的地位等价，不存��任何特权处理器。操作系统可在任意处理器上运行。  单一的操作系统映像：全系统只有一个操作系统驻留在共享存储器中，它根据各个处理器的负载情况，动态地分配各个进程到各个处理器，并保持各处理器间的负载平衡。  局部高速缓存Cache及其数据一致性：每个处理器均配备局部Cache，它们可以拥有独立的局部数据，但是这些数据必须保持与存储器中数据是一致的。  低通信延迟：各个进程通过读/写操作系统提供的共享数据缓存区来完成处理器间的通信，其延迟通常小于网络通信的延迟。  共享总线带宽：所有处理器共享总线的带宽，完成对内存模块和I/O 模块的访问。  支持消息传递、共享存储并行程序设计。  下图是传统的SMP架构的示意图：   

SMP架构的示意图

我们总结一下SMP架构的关键点：对称式共享存储：任意处理器可直接访问任意内存地址，且访问延迟、带宽、几率都是相同的; 系统是对称的；而从上图中我们可以很清楚地发现蓝色部分的总线和交叉开关是整个系统的关键；通过这个总线和交叉开关协调各个部件的交互沟通运行。   这个在服务器、存储器（本质上也是计算机）上运用得非常多，比如例子: IBM p系列服务器、Sun SPARC Enterprise/Fire系列服务器和HP Integrity系列服务器、HDS 7700E系列存储，EMC Symmetrix 4000/5000/8000系列存储器，而此后的HDS 9900系列、USP系列和EMC Symmetrix DMX系列算是此种架构的一种变通改进（采用交叉开关或者点到点直通式设计）。   

HP公司一款经典的UNIX服务器RP7400的体系架构图

) {3 w- A( ]' f5 N
上图是HP公司一款经典的UNIX服务器RP7400的体系架构图，这事一款经典的基于SMP架构设计的服务器，从大家可以看到8个PA 8700 CPU、Memory Carriers和IO模块都是通过system BUS连接起来的，这个system BUS就是我们说的系统总线。   我们本节谈的都是所谓大存储器设计思路，这个“大”就是意味着处理能力要很强。怎么个强法呢，还记得我们在第五章模块化阵列中谈到的一个叫Symmetric对称式架构的关键点么，即把存储控制器进一步细分成几个部件。通过增强每个部件的处理能力来提高存储器整体的 IO处理能力。   那么具体来讲是怎么个细分法呢，存储器从整体上来说是接收来自主机端的IO信息然后传递到磁盘上，在主机和磁盘间起了个加速作用，那我们就这个思路进一步细分，可以把存储器拆分成五个部分，即 1. 前端主机接口卡部分：负责接收来自主机端的IO需求，或者从缓存中把信息传递给主机； 2. 存储器核心控制部分：整个存储器的大脑，负责运行和协调存储控制器中各个部件的运行； 3. 交换总线或背板：通路部分，存储器各个部件间协调运行的通道； 4. 缓存部分：缓冲将要写到磁盘或者从磁盘中读出来的数据信息； 5. 后端磁盘接口卡部分：负责把修改后的信息写回物理磁盘，或者从物理磁盘中读出信息给到缓存中去；   需要指出的是：高端阵列的设计思想中，上述部分中的1（前端主机接口卡）、2（存储器核心控制部分）、5（后端磁盘接口卡部分）都有独立的高性能CPU 运行，这样保证每一步处理都很高效，你也可以先只配少量的前端主机接口卡、后端磁盘接口卡或者核心控制卡，日后升级扩容时在通��灵活添加相关接口卡来提升各个部分的性能从而达到存储器整体性能的提升，这种设计思路我们称为scale up大存储器的设计思路。   另外一点需要指出的是，这么多部件通过总线串接在一起共享整个缓存部分的，而且需要较大容量的共享缓存支持，各个处理器到缓存的访问延迟都是一样的，这也SMP的一个重要特点。 基于以上两个重要特征，因此笔者把这种存储器归类为“统一大缓存多处理器 scale up存储器”，有些拗口，但是重要特点都在这个归纳的名字中点了出来，呵呵。
下面我们结合几款经典的存储器产品来介绍SMP架构的设计思路。

统一大缓存多处理器存储Scale-up架构产品的发展历史   设计这种体系架构的存储厂商的鼻祖当推EMC公司，可以说是EMC这家公司创造了存储器这一个独立的行业（在此之前存储器都是服务器的附属产品）。 EMC把所有的高端存储器都称为Symmetrix系列存储阵列（和前文中提到的对称式体系架构“Symmetric”拼写很相似，各位看官不要弄混哦）   我们先来回顾一下EMC Symmetrix系列存储器的发展历史   1990 – Symmetrix 4200 – ICDA (Integrated Cached Disk Array) Technology, Total Capacity 24GB 1991 – Symmetrix 4200 – 4Mb DRAM, 5.25 HDAs, Mirroring RAID 1 1992 – Symmetrix 4400 - - Dynamic Sparing, RMP Call Home 1993 – Symmetrix 4800 – 16MB DRAM, 1 GB Global Memory,Non-disruptive microcode, Hypervolume Extension. 1994 – Symmetrix 5500-3 – SRDF 1995 – Symmetrix 3.0 Open Symmetrix- FWD SCSI- attach, 3.5’’ HDAs, RAID Protection, SRDF Host Component, Symmetrix Manager 1996 – Symmetrix ESP – Mix CKD/FBA 1997 – Symmetrix 4.0 – TimeFinder, DataReach, InfoMover, Celerra, FDRSOS, Fibre Channel, PowerPath, UltraSCSI, DMSP 1998 – Symmetrix 4.8 – FC-AL/FC-SW, Symmetrix Optimizer 1999 – Symmetrix 5.0 – 333 MHz PPC, 181 GB disks, QoS Controls 2000- Symmetrix 5.5 – 2 GB fibre Channel, 400 MHz PPC 2000-2001 – Symmetrix DMX – Direct Matrix, 500 MHz PPC, 2 GB FC, Back-End Parity RAID 2001 – 2002 – Symmetrix DMX – 2G FICON, Giga Ethernet SRDF, iSCSI, SRDF/A, TimeFinder/Snap 2003- Symmetrix DMX-2 – 1 Ghz PPC, RAID 5 Data Protection, 32 GB Memory Directors 2003-2004- Symmetrix DMX-2- SRDF Mode Change, Concurrent SRDF, SRDF/Star, TimeFinder/Clone, Open Replicator 2005 – Symmetrix DMX-3 – 8 Processors/Directors, 1.3 GHz PPC, Low Cost FC Disks, Incremental Scalable, Upto 2400 disks, Open Migrator/LM 2005-2006 – Symmetrix DMX-3 – Dynamic Cache Partitioning, Symmetrix Priority Controls, Virtual LUN Technology, Symmetrix Service Credential, Tamper Proof Audit Logs, Secure Data Eraser, RAID 6 Protections. 2007-2008 Symmetrix DMX-4 – 4GB/s Point to point Backend, FC & SATA Intermix, RSA enVision Intergration, Flash Drives, Virtual Provisioning Cascaded SRDF   可以看到在EMC发布直连式矩阵DMX系列阵列之前，其Symmetrix系列都是基于总线互连的SMP架构设计的，我们看看其早期几款经典产品的结构图和相关数据 1999年：Symmetrix 4.8架构Symmetrix 3630, 3830, 3930，配备两条系统高速总线，系统总线带宽：2×360＝720MB/sec。   

Symmetrix 4.8架构Symmetrix 3630, 3830, 3930

2001-2年：Symmetrix 5.0 5.5架构，具体产品对应的存储器产品是Symmetrix 8430/8730 和8230/8530/8830系统总线带宽：4×400＝1600MB/sec 可以看到每一代产品的升级都包含几个部分，更多的前端主机通道卡和后端卡、更新的协议支持（前端主机接口从SCSI发展到FC，从ESCON到FICON mainframe接口，后端磁盘从SCSI到ultra SCSI）、更宽的接口卡带宽、更快的处理芯片、更多的缓存容量支持、更多的磁盘数量支持，还有关键的一点是更宽和更多条的互连总线带宽的支持更多连接在上面的部件的协同工作，这是技术突破的关键难点，不管是基于SMP架构的存储器还是服务器，都是沿着同样的发展思路来提升整体性能的。。   这个体系架构是当时EMC的一个灵魂设计师Moshe Yanai同学设计的，此种架构叫MOSAIC 2000体系架构。这样设计的存储器在EMC公司坚持了很多年，据说是因为EMC每生产一台Symmetrix存储器，都需要付给这个Moshe Yanai同学一笔不菲的专利费，而Moshe Yanai同学在EMC也很有影响力，因此这笔费用一直付到EMC 2003年推出下一代的DMX阵列才结束。后来Moshe Yanai离开了EMC，创立了一家以色列小存储公司做下一代存储器，直到前几年这家小公司被IBM收购，这也就是IBM XIV存储器的起源。有此可见，这位Moshe Yanai大哥确实算是存储行业的超级传奇人物了。   

Symmetrix 5.0 5.5架构

EMC公司Symmetrix存储器这种基于多处理器，SCALE UP扩展思路的大存储器的设计思路一时间风靡全球，EMC公司也成为了当时Nasdaq的四骑士之一（另外三个骑士是CISCO,ORACLE和SUN，当然去年Oracle把SUN收购了，只剩下3个骑士了），其市值曾经超过过IBM，真是厉害啊。HP公司早期也曾经OEM EMC的Symmetrix系列磁盘阵列作为整体解决方案提供给用户。   应当说Symmetrix的成功也就奠定了EMC在企业级存储器行业老大的地位，可是EMC因此也不满足于只做一个存储器设备的制造商，而是希望直接面对客户（此前EMC很多高端设备都是通过OEM给HP卖出去的），当然从HP的角度想，肯定不乐意EMC直接冲到客户那边卖设备而更希望把EMC当作一个设备制造商，一家拼命想出头，另外一家死命压着不让对方出头，矛盾不可避免地产生了，而且越来越激化。 终于在1999年前后IT界也发生了一个爆炸性的新闻，惠普中断和EMC的协议，改从日立公司OEM企业级存储器7700E（日立在电器也很有名，但是在IT也只算是个新手，估计当时也很想进入企业存储器市场，估计HP说什么苛刻条件也就都答应了，起码态度上比EMC要好很多，这样两家一拍即合）。   因为当时日立的企业级存储器7700E系列最大支持256块磁盘，因此当时命名SurestoreE XP256(这个命名很有意思，以至于在很长一段时间要知道XP最大支持多少块磁盘，只要记住XP后面的数字就可以了，比如XP 512代表该存储器最大支持512块磁盘，而XP1024代表该存储器最大支持1024块磁盘)。   这样我们就谈到了企业级存储市场的另外一个玩家，日立公司。我们知道美国公司擅长创造，日本公司擅长模仿（日本当年就有很多做IBM兼容机的公司，如日立、富士通等）。可以说，日立公司起家时是借鉴了EMC MOSAIC2000的设计思路���推出了lightning 7700E闪电系列存储器。下图是其体系架构，我们可以看到该存储器的设计思路和EMC早期的Symmetrix系列如出一辙。   

lightning 7700E闪电系列存储器体系架构

4 o( o. {% I7 `& F

从上述的技术发展路线，我们可以看到，总线的条数和每条的数目成为了存储器发展的关键因素（磁盘和内存模块都是通用的，前端主机接口卡和后端磁盘接口卡也是大家定好的标准）。然而总线的设计也有自身的瓶颈：总线其本质是多条并行刻蚀在电路版上的铜电路,一般64位系统总线约有200-300条铜电路，如下图所示：   

64位系统总线约有200-300条铜电路

3 O: I' y5 3 f3 ^
可以说存储器内部各个部件通过总线技术互连发展到一定的时间和规模，碰到了以下具体矛盾：  1. 所有设备都接到一条共享的数据/控制总线， 2. 只有一对设备能够同时使用一条总线 3. 提高总线的带宽只能够减少使用总线的时间, 但: a) 每一设备的性能都要提高 b) 线与线间更容易互相干扰 c) 传送延误会做成数据不同步 d) 系统需要严格环境才能够稳定运行 4. 增加总线数目极困难: a) 电路的数目 b) 总线的管理  & T  n* w, c' m3 T2 O
总线性能提升这个问题当然不是说只有存储器才碰到，高端的网络设备、服务器设备都碰到了类似的问题（本质上它们都是台计算机，都有互连互通的瓶颈问题）。我们都知道，日本公司不仅仅擅长模仿，也擅长在模仿的基础上创新（参考日本公司在汽车行业对美国公司的竞争；日本公司在造纸行业对中国公司的竞争的历史）。在企业级存储行业的体系架构发展过程中，日立公司和HP公司携手，首先在scale up存储器的体系架构方面迈出了变化第一步。

基于Crossbar架构的存储器体系架构   上节我们说过，在技术工艺方面力拼总线条数和每条总线速度的战役在H系和E系间激烈地进行了一段时间，可是大家都碰到了总线速度难以继续提升的问题。服务器经历过这个演进过程，存储也经历过。 HP的superdome服务器的crossbar背板给日立公司以启迪，XP系列的存储器当然也可以借鉴服务器的设计思路，由总线背板架构转变成 crossbar架构。于是H系于2000年11月28日发布了继7700和7700E以后新一代的存储器Freedom Storage Lightning 9900系列（包括9910和9960两个型号）。 H系的这款产品对于以前基于总线架构设计的存储器来讲应当说有突破性的变化，主要表现于以下几点   1. 核心交换部分以crossbar缓存交换机为中心连接主机前端接口、后端磁盘接口和缓存等各个部件，这里的缓存交换机即前文中说指的交叉开关；在9900系列中缺省配置两个，最大配置四个缓存交换机；   2. 率先提出了控制缓存的概念，把存储器的缓存区分成数据缓存（负责缓存常用数据IO）和控制缓存（负责装载存储器操作系统，又称系统微码）两个部分，做到控制信息和数据信息分开存放，有专门的控制缓存交换机；   3. 针对数据缓存和控制缓存设计配置专门的信号通道，即数据缓存通道和控制缓存通道（下图中红色部分表示控制缓存通道，蓝色表示数据缓存通道）；   4. 9900系列抛弃了以前的SCSI接口磁盘，而是采用了光纤通道接口的磁盘（1Gb的FC-AL环路），这样每条链路通信速度更快，同时每条后端链路也可以支持更多的磁盘；   5. 尽管整个9900由多个部件组成，但是从整体上面分成两个区域（图中用蓝色虚线表示）左边区域和右边区域构成一个cluster提供高可靠性； HDS 9900系列存储器体系架构见下图   

第一代基于Histar交换架构H系存储器9900系列存储器

当然在2009年EMC又突破性地推出了Symmetrix v-max企业级存储器，它将突破现有的scale-up架构，而转向了scale out架构，此方面会在其他章节中描述，在本节中就不多叙述了。

逐鹿中原，百花齐放   到底是H系公司的crossbar架构好，还是EMC公司的直连式架构好，有人说交换机灵活扩展，也有人说直连式架构高效快速，还有人说其实IBM基于 Seascape架构的企业级存储器拥有Power芯片的核动力才是真正的最高性能存储器…其实这是在企业级存储市场在产品选型时经常被提到的问题，也需要广大系统管理员和用户自己好好考虑。但有一点是肯定的，高速低延迟的背板或直连技术是做企业级大存储器的关键之一。   我一直强调，其实存储器本质上也是一种计算机，所以其他高级服务器器也会碰到同样的问题，比如HP新一代的Superdome刀片开始用上了 Infiniband交换机连接多个刀片处理器，而最近很火的一个机器就是Oracle新发布的Exadata Ver 2.0，据说是速度惊人，说白了其关键核心是独家采用了最先进的Infiniband交换设备——40 Gb/sec fault-tolerant unified server and storage network，整个数据库机内部配置了3个36-port QDR Sun Datacenter InfiniBand Switches，也就是通过他把很多个小服务器串接起来高效工作。具体配置见下图。   

Oracle Exadata Ver 2.0具体配置

统一大缓存存储器的其他产品   除了EMC/HDS以外（HP属于OEM日立的存储设备），还有一家就是富士通的高端存储器了。   

富士通Eternus 6000的体系架构图

富士通的存储器也分为两个档次，基于模块化集群架构的Eternus 4000系列（上一代是Eternus3000系列），还有就是企业级的Eternus 8000系列（上一代是Etnernus 6000系列）。上图是富士通Eternus 6000的体系架构图，其基本思想是以高速RT（Router）做为核心交换部件，把控制器CM（即control module，控制器。所有的前端端口均配置在各个CM上，CM本身可以扩展）、前端主机接口卡（CA）和后端磁盘接口卡（DA）连接起来。其整体设计思想与H系公司和EMC公司存储器基本上类似，无非是用高速Router代替了crossbar交换机和DMX直连矩阵。   值得一提的是富士通在控制器上率先使用了高速Intel通用处理器用来提高处理速度，这一点走在H系和EMC公司前面（H系公司的存储器一直采用 MIPS芯片，而EMC直到2009年最新的V-MAX发布前一直是采用的powerpc芯片）。   一个完整的富士通6000、8000的连接示意图如下所示：   

富士通6000、8000的连接示意图

还有一家NEC公司生产的高端存储器也是采用类似体系架构设计，但在国内成功案例较少，笔者在本文中也就不多做介绍了。   " \& Z0 a0 l$ S$ I
大家也许会奇怪，为什么没有提到IBM，其实在我看来在行业里赫赫有名的IBM Shark系列（现在又叫DS8000系列）虽然也是性能强大，但其核心设计思路是基于Seascape体系架构不断完善和发展，IBM DS8000整个存储器的动力引擎是来自于IBM引以为豪的Power芯片（最新的8700采用了PCI-E快速交换技术），其实IBM公司这种把存储和主机优势结合在一起设计思想也是业界一个发展趋势，也是笔者一直强调的“存储器也是计算机”理论的最佳实践之一，但是由于其体系架构不属于此章节分类（统一大缓存多处理器架构，scale up的存储器），因此就不在此章节介绍了。