2010年Hadoop中国云计算大会于9月4日在北京文津国际酒店成功举行,这场技术盛宴的主要目的就是促进Hadoop在中国的发展。【图文直播】大会日程的最后阶段是圆桌会议,来自IBM 、facebook、yahoo、中科院计算所、百度、江南所等十大技术专家聚为一堂,对如何为Hadoop做贡献、如何壮大Hadoop的话题进行了如火如荼的讨论。
如何如何壮大Hadoop?这不是一个三言两语就能回答的问题,也是许多公司、企业、研究单位和个人一直在探讨的问题,是靠开源社区?还是靠公司的研发团队?或者是研究单位的力量?各个单位或个人又该如何贡献自身的最大力量?就像主持人韩轶平所说的,我们刚开始接触Hadoop的时候是获取,获取到一定程度以后是贡献了,至于如何为Hadoop做贡献,九位嘉宾也十分踊跃地表达了自己的观点。
企业:试用/反馈模式促进Hadoop发展
百度王守彦首先表达了自己的观点,他指出,要发展Hadoop还需要用户去试用基于Hadoop的产品,并将试用的结果进行反馈,这样才能促进Hadoop事业的进一步发展。他在谈话中提到,百度当日发布的项目实际上是对Hadoop计算层进行重写,这是对Hadoop性能的提升是很有帮助的,同时他希望有更多的人来试用他们的产品,并给他们的开发人员一些反馈,共同促进Hadoop的发展。
个人:如何把比较小的feature commit到Hadoop里面去?
在主持人问到具体如何把比较小的feature Commit到Hadoop里面去的时候,Facebook软件工程师陈俊仰指出,首先就是要敢于发表自己的意见,更重要的是需要圆润一点,用讨论的语气跟大家商量。之所以需要圆润一点是因为各家公司的立场不同。比如说Yahoo,他们投入了许多的成本,当然不希望里面的东西被换掉,而facebook使用的环境变化很大,所以会比较积极地去之时Hadoop的变化,还有像Cloudera这样企业,他需要各种各样的feature,因为他们有很多客户,总之,各家企业的立场不同,想法也就不同,所以我们在commit的时候一定要注意圆润一些。
研究单位:取之于开源用之于开源
谈过了互联网企业、个人等如何贡献与开源之后,主持人又问到了作为研究单位应该如何促进Hadoop的发展,中科院计算所查礼表示,科研院所包括高校这种研究单位可以在开源的基础上,取之于开源用之于开源。
他指出,研究单位可以从开源中获取,并通过修改满足自己的要求,再回馈于社区,这样才能保证社区的良性的循环。查理还分享了他们的一个案例,中科院在08年的时候需要一套分布式存储的东西,经过调查发现HDFS比较适合他们的需求,并且利用开源的东西与完全自主开发相比,能节省时间、人力资源,于是他们选择了利用开源的基础和社区的力量,很快做成了他们想要的东西,并且已经将成果贡献到开源社区里去了。
同时还有其他嘉宾补充道:不管是学校还是研究单位还是企业,第一,就是要用开源,并将其推广,作为一个标准,那是对一个开源软件最好的鼓励和动力;第二,把自己做的东西贡献给大家。
技术交流促Hadoop发展:技术大会、深入的技术交流、社区交流
如何促进Hadoop在中国社区的发展?话筒交给了Yahoo北京研发中心的首席架构师兼技术总监郑皓,他表示,yahoo从Hadoop In China两年前第一次举办开始,一直与计算所合作,并且,不管是在活动还是社区,积极技术上,Yahoo都会继续支持Hadoop在中国的推广。
同时,会在接下来的一个周一举办一个Hadoop研发和应用发面体会的分享,帮助国内的开发人员解答Hahoop的Contribution方面的疑难,比如Check in等过程。
IBM王远红也在表示了自己的观点,他说,要想壮大Hadoop,还是要加强更深入的技术交流,比如说IBM与百度、IBM与yahoo等等,这样对进一步减少使用Hadoop的风险是很有好处的。他还谈到,社区交流也是一个很重要的方面,无论是高校、公司都可以参与进去,多回答问题,壮大整个社区。
与传统企业共促Hadoop发展
针对如何壮大Hadoop的问题,IBM中国开发中心信息管理极限分析开发部门经理王远红指出,现在Hadoop主要是在互联网公司比较热门,但是作为传统企业,如金融公司等,他们有大量的Lagancy的数据,怎么来用Hadoop做大规模的数据处理,去挖掘一些数据作分析,也是很重要的,但是他们有没有internet企业那么gressive,所以就希望会有企业提供Hadoop的服务,或者是开发更多的基于Hadoop的服务、应用。他表示IBM就在做基于Hadoop的产品,用户购买了Hadoop的产品以后,遇到的问题会被提到一个很高的Priority,得到企业级的支持,这与社区的支持是有区别的。
编者按:个人认为开源的社会价值是不可否认的,因此,促进开源事业的发展是一个值得关注的话题。Hadoop是一个由Apache基金会开发的分布式系统基础架构,名字起源于作者儿子的一只吃饱了的大象的名字。Hadoop从发展之初到现在,逐步完善的过程凝结了无数开源开发者对技术的痴迷和贡献精神。开源的事业,包括Hadoop在内,是整个IT业界的事业,大家在索取的同时不要忘了贡献,只有这有这样,开源事业才能壮大起来!