Tez的安装部署测试_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 3457 | 回复: 0   主题: Tez的安装部署测试        上一篇   下一篇 
syxian
注册用户
等级:新兵
经验:51
发帖:67
精华:0
注册:2011-10-15
状态:离线
发送短消息息给syxian 加好友    发送短消息息给syxian 发消息
发表于: IP:您无权察看 2015-12-23 14:48:08 | [全部帖] [楼主帖] 楼主

1.我的安装环境:

a) hadoop2.2.0

b) probuf2.5.0 ,probuf的安装可参考:http://blog.csdn.net/guoyilongedu/article/details/17093811

c) Tez-0.2.0


2.安装Tez

a)下载,Tez  http://tez.incubator.apache.org/install.html

b)解压 ,tar –xvf tar -xvf tez-0.2.0-incubating.tar.gz.解压之后会得到目录tez-0.2.0-incubating,若不加特殊说明,下面的操作都是在这个目录下进

行。

c)编译,编译之前注意修改pom.xml中的相关配置,主要是把hadoop.version和protobuf.version修改成你环境下的版本号。

编译时执行:

mvn clean install -DskipTests=true-Dmaven.javadoc.skip=true


d)编译完之后的需要将部分文件上传到hdfs,需要上传的文件在目录{YOUR_PATH}/tez-0.2.0-incubating/tez-dist/target/tez-0.2.0/tez-0.2.0下面,上传到

hdfs的位置随意。

比如如果我们上传到hdfs的位置是/tez-0.2.0,那么上传命令如下

hadoop fs –put /tez-dist/target/tez-0.2.0/tez-0.2.0 /tez-0.2.0


e)新建tez-site.xml.添加如下配置:

其中value的内容为你刚才上传到hdfs上的位置,注意是两个path,用逗号隔开,一个是包含lib下jar的path,一个是包含lib和tez-api.jar的path。

<configuration>
 <property>
 <name>tez.lib.uris</name>
 <value>/tez-0.2.0/lib,/tez-0.2.0/</value>
 </property>
</configuration>


f)修改hadoop的配置文件mapred-site.xml,修改mapreduce.framework.name的值yarn为yarn-tez:

<property>
 <name>mapreduce.framework.name</name>
 <value>yarn-tez</value>
</property>


g)修改hadoop的class path,添加以下两个路径:

                        i.             tez-site.site的路径

                      ii.             TEZ_JARSand TEZ_JARS/libs

一种设置hadoop classpath 的方法是,在hadoop-env.sh中添加:

export CLASSPATH=${CLASSPATH}:$your-path


3.运行测试:


其中tez-mapreduce-examples-0.2.0.jar 在 tez-0.2.0-incubating/tez-mapreduce-examples/target目录下,下面语句也是在这个目录下执行的

hadoop jar tez-mapreduce-examples-0.2.0.jar orderedwordcount <input> <output>


4.相关说明:

a)在2.e步中,tez-site.xml文件是不存在的,需要自己创建,但是我按照上面的操作完成了之后,执行程序的时候会报错:

Exception in thread "main"org.apache.tez.dag.api.TezUncheckedException: Invalid configuration of tezjars, tez.lib.uris is not defined in the configurartion。


出现这个问题显然是因为tez没找到tez-site.xml文件的原因,我查了下hadoop的classpath,发现明明已经添加了路径,所以错误原因我也没搞清楚。

我的解决办法是,把tez-site.xml直接放到hadoop_conf_dir($HADOOP_PREFIX/etc/hadoop)下面,在执行的时候就不报错了。

b)在2.f步中,修改了mapred-site.xml文件,在没安装tez的机器上执行MR程序的时候会报错:

ERROR security.UserGroupInformation:PriviledgedActionException as:nyarn (auth:SIMPLE) cause:java.io.IOException:Cannot initialize Cluster. Please check your configuration formapreduce.framework.name and the correspond server addresses.


这属于正常现象,解决办法就是要不在这台机器上也配上tez,要不就把程序的执行语句放到年撞了Tez的机器上来运行。要注意的是,在有Tez的机器上仍然可

以运行之前写过的MR程序。

c)安装完成之后,再执行MR或者其他yarn上的程序,application type就会写成tez,如下图所示

1.png















赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论