摘要:Hadoop近期热点很多:Hortonworks提供Hadoop big-data platform for Windows测试版,EMC针对Cloudera发布名为“Pivotal HD”的Hadoop发行版,HP加入Hadoop并提供安全插件ArcSight。
作者:来源:CSDN 2013年02月27日
关键字:Hadoop大数据至强英特尔
Hadoop近期热点很多:Hortonworks提供Hadoop big-data platform for Windows测试版,EMC针对Cloudera发布名为“Pivotal HD”的Hadoop发行版,HP加入Hadoop并提供安全插件ArcSight。2月26日,Intel提出了将Hadoop直接集成到Xeon芯片 中,进而实现速度、安全与可管理性的大幅提升。
大数据有多热,Hadoop就有多热。
与AWS在私有云市场动作频仍一样,Hadoop近期热点事件也不少。 Hortonworks提供Hadoop big-data platform for Windows测试版, EMC针对Cloudera发布名为“Pivotal HD”的Hadoop发行版, HP加入Hadoop并提供安全插件ArcSight。2月26日,在Hadoop无数的商业版和开源版中,同时拥有在Apache开源版基础上修订的发行版和免费版两个Hadoop版本的Intel 再次爆料:要将Hadoop直接集成到Xeon中。
对于大数据分析而言,最基础的需求就是对于大量的结构化和非结构化数据,可以支持可变的数据结构和高效的数据导入、查询、统计分析。Hadoop在这些方面“当仁不让”。作为被称为“或可媲美Linux”的项目,Hadoop吸引了诸多顶级玩家的加入。
以至于,目前市场上Hadoop发行版与开源版种类繁多。其中,不仅有Cloudera、HortonWorks、Amazon的EMR、MapR,也有IBM、Oracle、Microsoft、Intel、EMC等诸多版本的Hadoop。对Intel而言,其拥有在Apache开源版基础上修订的发行版和免费版两个Hadoop版本。前者锁定行业客户,如电信、视频监控、生产制造等,后者核心代码和核心功能与前者相同,区别是支持节点数量和存储容量。此外,Intel还在GitHub维护着Project Panthera开源项目,其中包括即时分析、基于HBase的文档存储、基于Hive/MapReduce的分析SQL引擎、HiBench和HiTune等子项目。
Intel Hadoop发行版
Intel架构部门副总裁Boyd Davis说:“大数据生成很容易,但关键是要用起来。”围绕这一点,EMC和HP本周都有所动作。但Intel所做的更为直接:将Hadoop直接固化到芯片中。“Hadoop架构具有巨大的潜力,其完全可以做为硬件基础层存在,并在此之上构建可以实现水平分布的各式各样的堆栈。”如此,对于IT经理而言,自动配置与评估,调优和管理自然更为简便。
芯片就是Xeon,并在网络和I/0方面针对数据分析“新应用层”有特别的优化。
例如,通过固化Hadoop的Xeon处理器,Intel预计1TB的数据分析可以在7分钟内完成,而采用其他方案,预计将需要4小时以上。
除了使用AES-NI指令集有希望20倍的提升加密速度以外,Intel的Hadoop分布式框架还将通过固态驱动器与缓存加速来实现优化,查询速度将比Hive快8.5倍;Intel Labs通过AVX和SSE 4.2进行硬件增强压缩以及Active Tunner对集群进行自动调优。
而在安全方面,将提供一个“完整,加密”的Xeon处理器方案,从而使得用户不需求牺牲性能即可实现数据的高安全性。
差不多24个合作伙伴可以帮助Intel将“固化Hadoop的Xeon解决方案”推广到公有云和私有云中,比如Cisco,Dell和SAP。而为了加快部署,Intel还透露,会投资规模较小的大数据公司,如MongoDB和Guavus Anaytics,这样在基于Apache Hadoop的数据分析解决方案方面将更加丰富。
写在最后:
众所周知,Hadoop底层硬件平台多为Intel芯片,如此模式,是否会使Hadoop的竞争更加白热化?!这让译者想到2012年7月一次会议中,中国联通研究院副院长黄文良的介绍:
联 通Hadoop系统的后台是178台基于英特尔至强5600处理器的两路刀片服务器,每台服务器配备了14TB存储容量。此外,系统还有3台 NameNode节点服务器、入库服务节点服务器24台、Zookeeper节点服务器7台、集群监控节点1台和Web查询应用服务节点20台。这些也都 是IA架构的x86服务器。
“我们也试过用Hadoop的开源版本,但是确实在性能上不如英特尔的Hadoop发行版,无论是监控能力还是稳定性都有很大区别。”