spark-submit --status with mesos master 什么都不返回答案

【问题标题】：spark-submit --status with mesos master returns nothingspark-submit --status with mesos master 什么都不返回
【发布时间】：2018-10-03 01:47:55
【问题描述】：

我想通过以下方式检索在 mesos 主机上以集群模式运行的 spark 作业的状态：

spark-submit --master mesos://<ip>:7077 --status "driver-...-..."

无论驱动程序的状态如何，它都会退出 0 而不进行任何记录。

我知道它在做正确的事情，因为如果我使用无效的 mesos ip/port 运行命令，我会得到

Exception in thread "main" org.apache.spark.deploy.rest.SubmitRestConnectionException: Unable to connect to server
at org.apache.spark.deploy.rest.RestSubmissionClient$$anonfun$requestSubmissionStatus$3.apply(RestSubmissionClient.scala:165)

如果我使用无效的提交 ID 运行，我会得到

2018-10-02 18:47:01 ERROR RestSubmissionClient:70 - Error: Server responded with message of unexpected type SubmissionStatusResponse.

知道为什么spark-submit --status 没有返回任何东西吗？

【问题讨论】：

标签： apache-spark mesos

【解决方案1】：

我通过直接访问调度程序的 api 找到了解决方法：

curl -s "http://$DISPATCHER/v1/submissions/status/$SUBMISSION_ID"

仍然没有明确的答案为什么spark-submit --status 的行为不符合记录。

【讨论】：

【解决方案2】：

不确定您使用的是什么版本的 spark。我的调查基于 spark-2.4.0。所描述的行为对 spark Standalone 和 mesos 部署目标都有效。

org.apache.spark.deploy.rest.RestSubmissionClient 用作其余提交请求的处理程序，并以编程方式使用 INFO 级别记录响应。

org.apache.spark.deploy.SparkSubmit 在调用 spark-submit 时用作主类，其记录器是所有其他记录器的顶级根记录器。

以编程方式，如果 conf/log4j.properties 中未设置 SparkSubmit 的特定记录器（此文件不存在时同样适用），默认级别设置为警告。

更进一步，在没有 RestSubmissionClient 的特定记录器的情况下，它会获取其根记录器的级别，即 SparkSubmit 的记录器。

您可以看到错误，因为 WARN 是默认设置。

为了能够查看其余提交的日志，您可能需要调整 ${SPARK_HOME}/conf/log4j.properties log4j.logger.org.apache.spark.deploy.rest.RestSubmissionClient=INFO 或 log4j.logger.org.apache.spark.deploy.rest=INFO 用于该包中的其他类。

【讨论】：

【解决方案3】：

添加以下内容 log4j.logger.org.apache.spark.deploy.rest.RestSubmissionClient=INFO 和 log4j.logger.org.apache.spark.deploy.rest=INFO

到 log4j.properties 出现在 /etc/spark/conf 位置并再次查找状态

spark-submit --master spark://:6066 --status driver-20210516043704-0012

【讨论】：