[转帖]Hadoop 基础_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 3160 | 回复: 0   主题: [转帖]Hadoop 基础        下一篇 
huizai
注册用户
等级:少校
经验:933
发帖:83
精华:0
注册:2013-6-18
状态:离线
发送短消息息给huizai 加好友    发送短消息息给huizai 发消息
发表于: IP:您无权察看 2013-6-19 15:28:44 | [全部帖] [楼主帖] 楼主

Hadoop主要服务:


HDFS服务:

NameNode: 指导Slave的DataNode执行底层的I/O任务,跟踪文件被分割情况,服务于在Master上。

DataNode: 操作的实际执行者,比如删除或添加文件等等,服务于Slave上。

SecondaryNameNode:做Namespace image和Edit log合并,并保存namenode中对HDFS metadata的信息的备份,减少namenode重启的时间。

关于SecondaryNameNode参考:

 http://a280606790.iteye.com/blog/870123,
http://blog.csdn.net/dajuezhao/article/details/5987580


Yarn服务:

ResouceManager: 负责为AppMaster申请Container(资源),监控AppMaster。同时在AppMaster启动后,与AM协商分配资源。服务于Master上。

NodeManager: 负责启动和监控Container。服务于Slave上。

MRAppMaster: 负责监控作业,与RM协商资源。服务于其中某一个Slave上。

Hadoop Security(Authorization):


Hadoop Security 有两种方式:Simple 和 Kerberos。在使用Kerberos时,只在Namenode和Datanode,ResourceManager和NodeManager(Yarn)等Service之间链接时,Hadoop会与KDC通信验证Service和User,之后的Service之间的通信,不会每次都向KDC验证(除非需要重新链接),而是使用Token(由Kerberos验证后生成)的方式来确认发来信息的Service是被验证过的Service。

零散笔记:


1. Map/Reduce应用程序则不一定要用 Java来写

2. 默认每256M数据分给一个Map

3. 退出安全模式 bin/hadoop dfsadmin -safemode leave

4. Hadoop MRv1 服务:

JobTracker:负责调度监控,资源管理。

TaskTracker:管理和执行各个mapreduce任务。

JobClient提交作业(jar包/可执行程序等)和配置信息给JobTracker,后者负责分发这些软件和配置信息给slave、调度任务并监控它们的执行,同时提供状态和诊断信息给job-client。




赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论