如何在 Eclipse 上调试 Yarn 应用程序？答案

【问题标题】：How to debug Yarn application on Eclipse?如何在 Eclipse 上调试 Yarn 应用程序？
【发布时间】：2015-07-31 08:15:16
【问题描述】：

我从 MRAppMaster.java 代码开始。我想调试它以了解纱线应用程序的原理。

我在我的 Eclipse 中导入整个编译的 hadoop 代码。

我在本地 Linux 中运行 hadoop。

4504 ResourceManager 
4066 DataNode 
4761 NodeManager 
5068 JobHistoryServer 
4357 SecondaryNameNode 
3833 NameNode 
5127 Jps

在 hadoop-env.sh 中：

HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,address=9000"

然后我运行：

bin/hadoop jar path/to/hadoop-mapreduce-examples-2.2.0.jar wordcount /wordcount /output

然后我在 MRAppMaster.java 和 RunJar.java 中设置断点。然后在 Eclipse 中开始调试。

它只停在：

Thread [main] (Suspended (breakpoint at line 342 in JobSubmitter)) 
JobSubmitter.submitJobInternal(Job, Cluster) line: 342 
...
RunJar.main(String[]) line: 212

如何调试到 MRAppMaster.java？

【问题讨论】：

标签： java hadoop mapreduce remote-debugging hadoop-yarn

【解决方案1】：

对你来说已经很晚了，但我也遇到了同样的问题并找到了解决方案，所以在这里发布。首先，如果您正在寻找调试 MR 工作，有一个帖子 here 对此进行了解释。如果您正在寻找调试 TEZ 工作，那么您应该将以下内容添加到您的 tez-site.xml

<property>
  <name>tez.am.launch.cmd-opts</name>
  <value>-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=7070</value>
</property>

【讨论】：