Hadoop搭建以及实例演示

1.下载jdk和hadoop，并解压至/opt

2.配置环境变量：gedit /etc/profile最后面添加：export PATH="$PATH:/opt/hadoop-0.20.2/bin:/opt/jdk1.7.0_21/bin"

3.配置在/opt/hadoop-0.20.2/conf下的3个文件： gedit hadoop-env.sh
 打开java环境变量： export JAVA_HOME=/opt/jdk1.7.0_21

    -------------------------------------------
  gedit hdfs-site.xml 添加：

 gedit mapred-site.xml添加：

4.配置完成，可以在浏览器打开http://localhost:50070和http://localhost:50030进如管理监视界面。

5.从本地拷贝文件到hadoop:hadoop fs -mkdir /temp(创建文件夹)hadoop fs -copyFromLocal /opt/a.txt /temp/即可在浏览器界面查看刚刚考入的文件。

6.演示统计字符个数程序：[root@localhost hadoop-0.20.2]# hadoop jar hadoop-0.20.2-examples.jar wordcount /achun/a.txt /tt

演示结果：

在程序临时创建的文件夹中生成结果文件，内容如下：

 原文如下���

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13