如何配置 DSE Spark 以进行远程调试答案

【问题标题】：How to configure DSE Spark for remote debug如何配置 DSE Spark 以进行远程调试
【发布时间】：2019-11-13 22:26:16
【问题描述】：

我正在使用 DataStax 并尝试配置 Spark 以进行远程调试。

我已按照以下步骤操作：a) 转到 dse-5.1/resources/spark/conf/dse-spark-env.sh b) 在 sn-p 下面添加，以便 spark 驱动程序以调试模式启动

export SPARK_SUBMIT_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=4000 "

但 spark 并没有在 debug 中启动更多。请建议要遵循的链接/步骤。

$ netstat -na | grep "7080"

tcp        0      0 0.0.0.0:7080            0.0.0.0:*               LISTEN

$netstat -na | grep "4000"

$

【问题讨论】：

【解决方案1】：

Spark 应用程序由驱动程序和执行器数量组成，您应该为它们使用不同的选项： Debugging Spark Applications

为了简化事情，您可以在本地模式下运行应用程序。驱动程序和执行程序都将只有一个 JVM。这是 DSE 示例：

dse spark --master local[1] --driver-java-options -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=4000

【讨论】：