[转帖]统一大缓存多处理器存储Scale-up架构产品的发展历史_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 4378 | 回复: 0   主题: [转帖]统一大缓存多处理器存储Scale-up架构产品的发展历史        下一篇 
kim
注册用户
等级:中校
经验:1729
发帖:222
精华:0
注册:2011-7-21
状态:离线
发送短消息息给kim 加好友    发送短消息息给kim 发消息
发表于: IP:您无权察看 2011-8-22 13:49:41 | [全部帖] [楼主帖] 楼主

    设计这种体系架构的存储厂商的鼻祖当推EMC公司,可以说是EMC这家公司创造了存储器这一个独立的行业(在此之前存储器都是服务器的附属产品)。EMC把所有的高端存储器都称为Symmetrix系列存储阵列(和前文中提到的对称式体系架构“Symmetric”拼写很相似,各位看官不要弄混哦)   我们先来回顾一下EMC Symmetrix系列存储器的发展历史 

1990 – Symmetrix 4200 – ICDA (Integrated Cached Disk Array) Technology, Total Capacity 24GB
1991 – Symmetrix 4200 – 4Mb DRAM, 5.25 HDAs, Mirroring RAID 1
1992 – Symmetrix 4400 - - Dynamic Sparing, RMP Call Home
1993 – Symmetrix 4800 – 16MB DRAM, 1 GB Global Memory,Non-disruptive microcode, Hypervolume Extension.
1994 – Symmetrix 5500-3 – SRDF
1995 – Symmetrix 3.0 Open Symmetrix- FWD SCSI- attach, 3.5’’ HDAs, RAID Protection, SRDF Host Component, Symmetrix Manager 1996 – Symmetrix ESP – Mix CKD/FBA
1997 – Symmetrix 4.0 – TimeFinder, DataReach, InfoMover, Celerra, FDRSOS, Fibre Channel, PowerPath, UltraSCSI, DMSP
1998 – Symmetrix 4.8 – FC-AL/FC-SW, Symmetrix Optimizer
1999 – Symmetrix 5.0 – 333 MHz PPC, 181 GB disks, QoS Controls 2000- Symmetrix 5.5 – 2 GB fibre Channel, 400 MHz PPC
2000-2001 – Symmetrix DMX – Direct Matrix, 500 MHz PPC, 2 GB FC, Back-End Parity RAID
2001 – 2002 – Symmetrix DMX – 2G FICON, Giga Ethernet SRDF, iSCSI, SRDF/A, TimeFinder/Snap 2003- Symmetrix DMX-2 – 1 Ghz PPC, RAID 5 Data Protection, 32 GB Memory Directors
2003-2004- Symmetrix DMX-2- SRDF Mode Change, Concurrent SRDF, SRDF/Star, TimeFinder/Clone, Open Replicator
2005 – Symmetrix DMX-3 – 8 Processors/Directors, 1.3 GHz PPC, Low Cost FC Disks, Incremental Scalable, Upto 2400 disks, Open Migrator/LM
2005-2006 – Symmetrix DMX-3 – Dynamic Cache Partitioning, Symmetrix Priority Controls, Virtual LUN Technology, Symmetrix Service Credential, Tamper Proof Audit Logs, Secure Data Eraser, RAID 6 Protections.
2007-2008 Symmetrix DMX-4 – 4GB/s Point to point Backend, FC & SATA Intermix, RSA enVision Intergration, Flash Drives, Virtual Provisioning Cascaded SRDF


 可以看到在EMC发布直连式矩阵DMX系列阵列之前,其Symmetrix系列都是基于总线互连的SMP架构设计的,我们看看其早期几款经典产品的结构图和相关数据 1999年:Symmetrix 4.8架构Symmetrix 3630, 3830, 3930,配备两条系统高速总线,系统总线带宽:2×360=720MB/sec。   

北京联动北方科技有限公司

5 M5 V; p2 h' B- `8 ?


 Symmetrix 4.8架构Symmetrix 3630, 3830, 3930

    2001-2年:Symmetrix 5.0 5.5架构,具体产品对应的存储器产品是Symmetrix 8430/8730 和8230/8530/8830系统总线带宽:4×400=1600MB/sec 可以看到每一代产品的升级都包含几个部分,更多的前端主机通道卡和后端卡、更新的协议支持(前端主机接口从SCSI发展到FC,从ESCON到FICON mainframe接口,后端磁盘从SCSI到ultra SCSI)、更宽的接口卡带宽、更快的处理芯片、更多的缓存容量支持、更多的磁盘数量支持,还有关键的一点是更宽和更多条的互连总线带宽的支持更多连接在上面的部件的协同工作,这是技术突破的关键难点,不管是基于SMP架构的存储器还是服务器,都是沿着同样的发展思路来提升整体性能的。。   这个体系架构是当时EMC的一个灵魂设计师Moshe Yanai同学设计的,此种架构叫MOSAIC 2000体系架构。这样设计的存储器在EMC公司坚持了很多年,据说是因为EMC每生产一台Symmetrix存储器,都需要付给这个Moshe Yanai同学一笔不菲的专利费,而Moshe Yanai同学在EMC也很有影响力,因此这笔费用一直付到EMC 2003年推出下一代的DMX阵列才结束。后来Moshe Yanai离开了EMC,创立了一家以色列小存储公司做下一代存储器,直到前几年这家小公司被IBM收购,这也就是IBM XIV存储器的起源。有此可见,这位Moshe Yanai大哥确实算是存储行业的超级传奇人物了。   

北京联动北方科技有限公司

    Symmetrix 5.0 5.5架构

    EMC公司Symmetrix存储器这种基于多处理器,SCALE UP扩展思路的大存储器的设计思路一时间风靡全球,EMC公司也成为了当时Nasdaq的四骑士之一(另外三个骑士是CISCO,ORACLE和SUN,当然去年Oracle把SUN收购了,只剩下3个骑士了),其市值曾经超过过IBM,真是厉害啊。HP公司早期也曾经OEM EMC的Symmetrix系列磁盘阵列作为整体解决方案提供给用户。   应当说Symmetrix的成功也就奠定了EMC在企业级存储器行业老大的地位,可是EMC因此也不满足于只做一个存储器设备的制造商,而是希望直接面对客户(此前EMC很多高端设备都是通过OEM给HP卖出去的),当然从HP的角度想,肯定不乐意EMC直接冲到客户那边卖设备而更希望把EMC当作一个设备制造商,一家拼命想出头,另外一家死命压着不让对方出头,矛盾不可避免地产生了,而且越来越激化。 终于在1999年前后IT界也发生了一个爆炸性的新闻,惠普中断和EMC的协议,改从日立公司OEM企业级存储器7700E(日立在电器也很有名,但是在IT也只算是个新手,估计当时也很想进入企业存储器市场,估计HP说什么苛刻条件也就都答应了,起码态度上比EMC要好很多,这样两家一拍即合)。   因为当时日立的企业级存储器7700E系列最大支持256块磁盘,因此当时命名SurestoreE XP256(这个命名很有意思,以至于在很长一段时间要知道XP最大支持多少块磁盘,只要记住XP后面的数字就可以了,比如XP 512代表该存储器最大支持512块磁盘,而XP1024代表该存储器最大支持1024块磁盘)。   这样我们就谈到了企业级存储市场的另外一个玩家,日立公司。我们知道美国公司擅长创造,日本公司擅长模仿(日本当年就有很多做IBM兼容机的公司,如日立���富士通等)。可以说,日立公司起家时是借鉴了EMC MOSAIC2000的设计思路,推出了lightning 7700E闪电系列存储器。下图是其体系架构,我们可以看到该存储器的设计思路和EMC早期的Symmetrix系列如出一辙。   

北京联动北方科技有限公司

$ e- C: S$ G* u6 A( }) k
2 c) @, B/ o0 I8 }9 P  G


lightning 7700E闪电系列存储器体系架构

    从上述的技术发展路线,我们可以看到,总线的条数和每条的数目成为了存储器发展的关键因素(磁盘和内存模块都是通用的,前端主机接口卡和后端磁盘接口卡也是大家定好的标准)。然而总线的设计也有自身的瓶颈:总线其本质是多条并行刻蚀在电路版上的铜电路,一般64位系统总线约有200-300条铜电路,如下图所示:   

北京联动北方科技有限公司

* K! K2 X! ~, Q+ @
0 Z! y6 Z$ ' Y# s4 }. p' c


64位系统总线约有200-300条铜电路

' Y5 X+ i7 f! L6 e
l! D, @% t& \0 c, P


可以说存储器内部各个部件通过总线技术互连发展到一定的时间和规模,碰到了以下具体矛盾:  1. 所有设备都接到一条共享的数据/控制总线, 2. 只有一对设备能够同时使用一条总线 3. 提高总线的带宽只能够减少使用总线的时间, 但: a) 每一设备的性能都要提高 b) 线与线间更容易互相干扰 c) 传送延误会做成数据不同步 d) 系统需要严格环境才能够稳定运行 4. 增加总线数目极困难: a) 电路的数目 b) 总线的管理  
$ s6 H, t7 W& T) k; m总线性能提升这个问题当然不是说只有存储器才碰到,高端的网络设备、服务器设备都碰到了类似的问题(本质上它们都是台计算机,都有互连互通的瓶颈问题)。我们都知道,日本公司不仅仅擅长模仿,也擅长在模仿的基础上创新(参考日本公司在汽车行业对美国公司的竞争;日本公司在造纸行业对中国公司的竞争的历史)。在企业级存储行业的体系架构发展过程中,日立公司和HP公司携手,首先在scale up存储器的体系架构方面迈出了变化第一步。




赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论