[转帖]分级存储策略分析 emc isilon_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 3257 | 回复: 0   主题: [转帖]分级存储策略分析 emc isilon        下一篇 
周逸涵
注册用户
等级:少校
经验:871
发帖:83
精华:0
注册:2013-7-8
状态:离线
发送短消息息给周逸涵 加好友    发送短消息息给周逸涵 发消息
发表于: IP:您无权察看 2013-7-9 9:29:03 | [全部帖] [楼主帖] 楼主

自动分级存储的技术思想是在一个由多种类型节点(硬件上是异构的)组成的集群中,根据不同应用对于存储需求,将不同的文件放到不同的物理设备上。

同一份文件随着访问热度的变化,也可以在不同设备间迁移。

isilon分级存储的特点:

     1.提供了存储分级的粒度划分比较细致,相同硬件配置的节点可以化为一个node pool;一个node pool中不同的磁盘(ssd、sas、sata)还能划分为不同的disk pool;

     多层粒度的划分可以更精确的利用存储设备的物理特性。

     2.针对不同的文件属性,不仅可以选择不同的物理设备(如快速的ssd和慢速hdd)的等级,还可以选择不同data protection和data layout;

     例如对于长期不同的归档文件,可以使用低冗余的ec编码的方式放到低级存储中去,经常访问的热点文件可以采用镜像;

     经常做元数据访问的文件可以做元数据多副本,还可以优先把元数据放到ssd中。

     总之针对不同的文件,可以采取灵活的存储策略。这种灵活性如果能在单一集群内部实现,而且要使得这种灵活性动态的,确实比较复杂。

     3.GNA  Globalnamespace acceleration,即使本数据节点没有ssd,也可以将元数据放到其他节点的ssd中完成metadata read加速,这一特性对于metadata-intensive的应用比较重要,例如EDA(电子辅助设计)

目前isilon分级存储的粒度是文件级别,未做到块的级别。

ssd加速这方面,没有提到LRU、ARC等cache置换算法。




赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论