[转帖]如何远程调试Hadoop代码_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 2782 | 回复: 0   主题: [转帖]如何远程调试Hadoop代码        下一篇 
周逸涵
注册用户
等级:少校
经验:871
发帖:83
精华:0
注册:2013-7-8
状态:离线
发送短消息息给周逸涵 加好友    发送短消息息给周逸涵 发消息
发表于: IP:您无权察看 2013-7-9 10:39:57 | [全部帖] [楼主帖] 楼主

http://blog.csdn.net/nexus/article/details/6552098


通常情况下,我们只是通过已经编译好的Hadoop jar包来运行Hadoop。如果我们更改了Hadoop的源码,希望对更改的代码进行远程调试,可以通过下面的步骤来进行:

1. 下载从Apache社区或者Cloudera网站上下载Hadoop的压缩包

2. 在eclipse中创建一个java工程,并将该压缩包导入其中,建议在linux开发环境下完成

3. 对Hadoop代码更改后,在linux命令行下运行: "ant jar",重新生成新的jar包

4. 将更改后的Hadoop部署到远程的linux server上,假设为一个name node,两个data node的场景,并且要调试name node(IP是10.10.10.2)

5. 在name node的Hadoop bin目录下运行: "cp hadoop hadoop-debug",复制一个新的脚本

6. 在hadoop-debug脚本中的最后一行进行如下改动:

[java]view plaincopy

  1. #exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"  
  2. exec "$JAVA" -Xdebug -Xrunjdwp:transport=dt_socket,address=9090,server=y,suspend=y $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"  



7. 运行: "hadoop-debug namenode -format",这个时候命令会挂起,等待调试器连接9090端口,如:

[java]view plaincopy

  1. #./hadoop-debug namenode -format    
  2. Listening for transport dt_socket at address: 9090  



8. 回到开发端,在eclipse中右键选择NameNode.java->Debug As->Debug Configuration,进行如下配置:

北京联动北方科技有限公司

9. 点击Apply,然后Debug,就可以连接到name node上进行调试了。远程调试和本地调试区别不大,同样可以设置断点等操作。




赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论