hadoop 完全分布式 下datanode无法启动的解决方法_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 3441 | 回复: 0   主题: hadoop 完全分布式 下datanode无法启动的解决方法        上一篇   下一篇 
    本主题由 koei123 于 2015-6-1 15:14:42 移动
yang.wang
注册用户
等级:中士
经验:217
发帖:82
精华:0
注册:2011-12-28
状态:离线
发送短消息息给yang.wang 加好友    发送短消息息给yang.wang 发消息
发表于: IP:您无权察看 2015-4-1 16:30:54 | [全部帖] [楼主帖] 楼主

问题描述:

在集群模式下更改节点后,启动集群发现 datanode一直启动不起来。

我集群配置:有5个节点,分别为master slave1-5 。

在master以hadoop用户执行:start-all.sh

jps查看master节点启动情况:

NameNode
JobTracker
SecondaryNameNode


均已经正常启动,利用 master:50070 ,Live Nodes 为0,随进入 slave1:

ssh slave1, 输入命令jps ,发现只有 TaskTracker 而没有DataNode。随后看日志

上网查找解决方法,最后终于解决了,解决方法如下:

1. 先执行stop-all.sh暂停所有服务

2. 将所有Salve节点上的tmp(即 hdfs-site.xml 中指定的 dfs.data.dir 文件夹,DataNode存放数据块的位置)、 logs 文件夹删除 ,然后重新建立tmp , logs 文件夹

3. 将所有Salve节点上的/usr/hadoop/conf下的core-site.xml删除,将master节点的core-site.xml文件拷贝过来,到各个Salve节点

scp /usr/hadoop/conf/core-site.xml   hadoop@slave1:/usr/hadoop/conf/


4. 重新格式化: hadoop namenode -format

5. 启动:start-all.sh

注:这是我碰到的情况,不见得是你遇到的问题,基本上从以下几个方面解决问题:

        1. 检查各个xml文件是否配置正确

        2. java环境变量配置是否正确

        3. ssh是否无密码互通

        4, Hadoop离开安全模式,hadoop dfsadmin -safemode leave。

--转自 北京联动北方科技有限公司

该贴由koei123转至本版2015-6-1 15:14:42



赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论