从 Eclipse Scala IDE 将远程调试会话附加到 Spark

Question

在过去的两天里，我一直在为此绞尽脑汁，试图让它发挥作用。我在我的 Mac 上有一个本地 Spark 安装，我正在尝试将调试器附加到。我设置：

SPARK_JAVA_OPTS=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005

然后我将我的工作提交给 spark-submit 并在 eclipse 中启动我的调试配置，该配置被配置为 Socket Attach 远程调试会话。调试器附加，我的工作恢复并执行，但无论我做什么，我的断点都没有被命中。

我可以让它到达断点的唯一方法是附加到一个 spark-shell，创建一个 Java Exception 断点并发出

throw new java.lang.Exception()

调试器不会在我的正常断点处停止。

我创建了一个独立的 Hellow World scala 应用，并且能够附加到它并让它在常规断点处停止而没有任何问题。

环境：Mac OS、最新的 Eclipse、最新的 Scala IDE、Spark 1.3.1、Scala 2.10.5

提前致谢。

Answer 1

我遇到了类似的问题，有 2 件事解决了我的问题 - 1. .jar 文件和源代码对我来说有点不同步，所以不得不重新编译和重新部署。 2. 接下来在 JAVAOPTS 上我有一个suspend=n。 纠正这两个后，它对我有用。