[转帖]C# Hadoop学习笔记(二)—架构原理 ._Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 3315 | 回复: 0   主题: [转帖]C# Hadoop学习笔记(二)—架构原理 .        下一篇 
jie.liang
注册用户
等级:少校
经验:1003
发帖:77
精华:0
注册:2013-10-11
状态:离线
发送短消息息给jie.liang 加好友    发送短消息息给jie.liang 发消息
发表于: IP:您无权察看 2013-10-17 17:03:30 | [全部帖] [楼主帖] 楼主

所有Hadoop内容均为备忘信息、个人观点,建议大家看权威大大的文章。

一,架构

北京联动北方科技有限公司

二、名词解释

     (一)NameNode(简称NN),Hadoop的主节点,负责侦听节点是否活跃,对外开放接口等。在未来的大数据处理过程中,由于访问量和节点数量的不断增多,需要该节点的处理能力较高,因此从集群搭建的角度,建议该节点的CPU配置较高。

    (二)SecondNameNode(SNN),Hadoop高可用的备份节点,主要用途是主节点宕机或者不可用的情况下,自行切换到备用节点。

     身份决定了该节点需要同步NN的信息,因此采用心跳的方式从NN发现数据,并同步到自身。由于不可预知的本机硬件问题或网络原因及灾害,SNN需要部署在远离NN的物理空间内,一般配置是将该节点放在不同的机架、机房、楼层、楼房、或者更远,以确保高可用。

     (三)JobTracker(JT),负责任务的并发及调度处理。因此需要该节点能够拥有较高的CPU(低于NN),较高的内存。

    (四)DataNode(DN),分布式的各个子节点,真正存储NDFS文件的节点,负责接受Hadoop的计算任务,通过TaskTacker执行并行任务,启动MapReduce进行数据处理。

     身份决定该节点需要存储大量的文件,而且由于冗余备份(Hadoop缺省配置3份),防止节点宕机导致的计算不准确问题。该节点需要非常大的磁盘空间承载文件。

    (五)其他,待完善,先梳理提纲。




赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论