[转帖]英特尔:将Hadoop“固化”到Xeon中_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 2713 | 回复: 0   主题: [转帖]英特尔:将Hadoop“固化”到Xeon中        下一篇 
周逸涵
注册用户
等级:少校
经验:871
发帖:83
精华:0
注册:2013-7-8
状态:离线
发送短消息息给周逸涵 加好友    发送短消息息给周逸涵 发消息
发表于: IP:您无权察看 2013-7-10 9:20:19 | [全部帖] [楼主帖] 楼主

摘要:Hadoop近期热点很多:Hortonworks提供Hadoop big-data platform for Windows测试版,EMC针对Cloudera发布名为“Pivotal HD”的Hadoop发行版,HP加入Hadoop并提供安全插件ArcSight。

作者:来源:CSDN 2013年02月27日

关键字:Hadoop大数据至强英特尔


Hadoop近期热点很多:Hortonworks提供Hadoop big-data platform for Windows测试版,EMC针对Cloudera发布名为“Pivotal HD”的Hadoop发行版,HP加入Hadoop并提供安全插件ArcSight。2月26日,Intel提出了将Hadoop直接集成到Xeon芯片 中,进而实现速度、安全与可管理性的大幅提升。

大数据有多热,Hadoop就有多热。

与AWS在私有云市场动作频仍一样,Hadoop近期热点事件也不少。 Hortonworks提供Hadoop big-data platform for Windows测试版, EMC针对Cloudera发布名为“Pivotal HD”的Hadoop发行版, HP加入Hadoop并提供安全插件ArcSight。2月26日,在Hadoop无数的商业版和开源版中,同时拥有在Apache开源版基础上修订的发行版和免费版两个Hadoop版本的Intel 再次爆料:要将Hadoop直接集成到Xeon中。

对于大数据分析而言,最基础的需求就是对于大量的结构化和非结构化数据,可以支持可变的数据结构和高效的数据导入、查询、统计分析。Hadoop在这些方面“当仁不让”。作为被称为“或可媲美Linux”的项目,Hadoop吸引了诸多顶级玩家的加入。

以至于,目前市场上Hadoop发行版与开源版种类繁多。其中,不仅有Cloudera、HortonWorks、Amazon的EMR、MapR,也有IBM、Oracle、Microsoft、Intel、EMC等诸多版本的Hadoop。对Intel而言,其拥有在Apache开源版基础上修订的发行版和免费版两个Hadoop版本。前者锁定行业客户,如电信、视频监控、生产制造等,后者核心代码和核心功能与前者相同,区别是支持节点数量和存储容量。此外,Intel还在GitHub维护着Project Panthera开源项目,其中包括即时分析、基于HBase的文档存储、基于Hive/MapReduce的分析SQL引擎、HiBench和HiTune等子项目。

北京联动北方科技有限公司

         Intel Hadoop发行版

Intel架构部门副总裁Boyd Davis说:“大数据生成很容易,但关键是要用起来。”围绕这一点,EMC和HP本周都有所动作。但Intel所做的更为直接:将Hadoop直接固化到芯片中。“Hadoop架构具有巨大的潜力,其完全可以做为硬件基础层存在,并在此之上构建可以实现水平分布的各式各样的堆栈。”如此,对于IT经理而言,自动配置与评估,调优和管理自然更为简便。

芯片就是Xeon,并在网络和I/0方面针对数据分析“新应用层”有特别的优化。

例如,通过固化Hadoop的Xeon处理器,Intel预计1TB的数据分析可以在7分钟内完成,而采用其他方案,预计将需要4小时以上。

除了使用AES-NI指令集有希望20倍的提升加密速度以外,Intel的Hadoop分布式框架还将通过固态驱动器与缓存加速来实现优化,查询速度将比Hive快8.5倍;Intel Labs通过AVX和SSE 4.2进行硬件增强压缩以及Active Tunner对集群进行自动调优。

而在安全方面,将提供一个“完整,加密”的Xeon处理器方案,从而使得用户不需求牺牲性能即可实现数据的高安全性。

差不多24个合作伙伴可以帮助Intel将“固化Hadoop的Xeon解决方案”推广到公有云和私有云中,比如Cisco,Dell和SAP。而为了加快部署,Intel还透露,会投资规模较小的大数据公司,如MongoDB和Guavus Anaytics,这样在基于Apache Hadoop的数据分析解决方案方面将更加丰富。

写在最后:

众所周知,Hadoop底层硬件平台多为Intel芯片,如此模式,是否会使Hadoop的竞争更加白热化?!这让译者想到2012年7月一次会议中,中国联通研究院副院长黄文良的介绍:

联 通Hadoop系统的后台是178台基于英特尔至强5600处理器的两路刀片服务器,每台服务器配备了14TB存储容量。此外,系统还有3台 NameNode节点服务器、入库服务节点服务器24台、Zookeeper节点服务器7台、集群监控节点1台和Web查询应用服务节点20台。这些也都 是IA架构的x86服务器。

“我们也试过用Hadoop的开源版本,但是确实在性能上不如英特尔的Hadoop发行版,无论是监控能力还是稳定性都有很大区别。”




赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论