Ubuntu下 Hadoop 1.2.1 配置安装_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 2416 | 回复: 0   主题: Ubuntu下 Hadoop 1.2.1 配置安装        上一篇   下一篇 
吹牛打豆豆
注册用户
等级:中尉
经验:418
发帖:12
精华:0
注册:2015-3-30
状态:离线
发送短消息息给吹牛打豆豆 加好友    发送短消息息给吹牛打豆豆 发消息
发表于: IP:您无权察看 2015-12-23 11:48:30 | [全部帖] [楼主帖] 楼主


尝试进入大数据领域开发,从目前最火的Hadoop入手是必须的,本文一步步记录了 Ubuntu 环境安装Hadoop 1.2.1 ,搭建单机模式以及伪分布式模式,希望对各

位和我一样的菜鸟有所帮助,共同学习进步,欢迎交流。尝试2.1安装失败,由于文件结构不太一样缺乏相关资料,也非做运维的,遂放弃改用成熟的hadoop 

1.2.1版本。

----------------------------------------单机模式-----------------------------------------

下载:hadoop-1.2.1.tar.gz

解压:

tar -xzvf hadoop-1.2.1.tar.gz


转移

mv hadoop-1.2.1/ /opt


进入conf文件配置环境变量 


1.png


让环境变量配置生效source,是source,不是sh,补充下sh和.的区别,参考

source hadoop-env.sh


检测是否安装成功


2.png


单机版hadoop安装成功,测试一下

mkdir input
 cp -R conf input/


运行wordcount程序并将结果保存到output

hadoop hadoop-examples-1.2.1.jar 

错误: 找不到或无法加载主类 hadoop-examples-1.2.1.jar

hadoop jar hadoop-examples-1.2.1.jar wordcount input output   发现错误,粗心害死猫....修改后运行,OK!


 14.png



单机模式成功, 接下来搭建伪分布式

-------------------------------------------华丽的分割线 伪分布式-----------------------------------------

hadoop目录下创建以下目录:

dat@dat-HP:/opt/hadoop-1.2.1$ mkdir tmp
dat@dat-HP:/opt/hadoop-1.2.1$ mkdir hdfs
dat@dat-HP:/opt/hadoop-1.2.1$ mkdir hdfs/name
dat@dat-HP:/opt/hadoop-1.2.1$ mkdir hafs/data

编辑core-site.xml

<configuration>
 <property>
 <name>fs.default.name</name>
 <value>hdfs://localhost:9000</value>
 </property>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/opt/hadoop-1.2.1/tmp</value>
 </property>
</configuration>


hdfs-site.xml:

<configuration>
 <property>
 <name>dfs.replication</name>
 <value>1</value>
 </property>
 <property>
 <name>dfs.name.dir</name>
 <value>/opt/hadoop-1.2.1/hdfs/name</value>
 </property>
 <property>
 <name>dfs.data.dir</name>
 <value>/opt/hadoop-1.2.1/hdfs/data</value>
 </property>
</configuration>


mapred-site.xml:

<configuration>
 <property>
 <name>mapred.job.tracker</name>
 <value>localhost:9001</value>
 </property>
</configuration>


格式化HDFS(建议只格式化一次,多次格式化据传后边会引起问题,本人没有尝试...):

dat@dat-HP:/opt/hadoop-1.2.1/conf$ source hadoop-env.sh 
dat@dat-HP:/opt/hadoop-1.2.1/conf$ hadoop namenode -format

4.png


启动Hadoop:

执行执行bin/start-all.sh来启动所有服务,包括namenode,datanode,start-all.sh脚本用来装载守护进程

dat@dat-HP:/opt/hadoop-1.2.1/bin$ start-all.sh


5.png


用java的jps命令验证是否安装成功:

dat@dat-HP:/opt/hadoop-1.2.1$ jps


6.png


少一个DataNode进程没有启动,通过查看上边现实的路径下的日志发现:


7.png



很明显,data文件夹的权限不对,修改权限:

dat@dat-HP:/opt/hadoop-1.2.1/hdfs$ chmod 755 data


关闭hadoop,重新启动:

dat@dat-HP:/opt/hadoop-1.2.1/bin$ stop-all.sh
 dat@dat-HP:/opt/hadoop-1.2.1/bin$ start-all.sh 
 dat@dat-HP:/opt/hadoop-1.2.1/bin$ jps


8.png


6个进程全部启动了,此时安装正常,可以进行Hadoop的相关操作了。 


检查运行状态:可以通过下面的操作来查看服务是否正常,在Hadoop中用于监控集群健康状态的Web界面

http://localhost:50030/     - Hadoop 管理介面 

http://localhost:50060/     - Hadoop Task Tracker 状态 

http://localhost:50070/     - Hadoop DFS 状态



hadoop的伪分布模式已经安装成功,再次在伪分布模式下运行一下WordCount来感受MapReduce过程:

这时注意程序是在文件系统dfs运行的,创建的文件也都基于文件系统:


首先在dfs中创建input目录

dat@dat-HP:/opt/hadoop-1.2.1/conf$ hadoop dfs -mkdir input
Warning: $HADOOP_HOME is deprecated.


将conf中的文件拷贝到dfs中的input

dat@dat-HP:/opt/hadoop-1.2.1$ hadoop dfs -copyFromLocal conf/* input

在伪分布式模式下运行WordCount

dat@dat-HP:/opt/hadoop-1.2.1$ hadoop jar hadoop-examples-1.2.1.jar wordcount input output


9.png


INFO mapred.JobClient:  map 100% reduce 0% 到这里卡死不动了。

解决办法:修改/etc/hosts文件,加入主机名和IP地址的映射。

检查主机名:

dat@dat-HP:/opt/hadoop-1.2.1/conf$ hostname


10.png

修改/etc/hosts文件:

11.png


重新来过:

hadoop dfs -rmr output/
hadoop jar hadoop-examples-1.2.1.jar wordcount input output

依旧不起作用...........重启,再重新来过.................ok!!!


12.png



oK!!看见没有,你成功了!!!!!!

检测一下输出信息:

dat@dat-HP:/opt/hadoop-1.2.1$ hadoop dfs -cat output/*

 

13.png


ok!!此时伪分布式系统环境已可以正常使用~~~!




















赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论