Spark Pod 在 Kubernetes 中每小时重启一次答案

【问题标题】：Spark Pod restarting every hour in KubernetesSpark Pod 在 Kubernetes 中每小时重启一次
【发布时间】：2020-11-01 14:40:41
【问题描述】：

我已经在 Kubernetes 中以集群模式部署了 Spark 应用程序。 spark 应用程序 pod 几乎每小时都会重新启动。驱动程序日志在重启前有此消息：

20/07/11 13:34:02 ERROR TaskSchedulerImpl: Lost executor 1 on x.x.x.x: The executor with id 1 was deleted by a user or the framework.
20/07/11 13:34:02 ERROR TaskSchedulerImpl: Lost executor 2 on y.y.y.y: The executor with id 2 was deleted by a user or the framework.
20/07/11 13:34:02 INFO DAGScheduler: Executor lost: 1 (epoch 0)
20/07/11 13:34:02 INFO BlockManagerMasterEndpoint: Trying to remove executor 1 from BlockManagerMaster.
20/07/11 13:34:02 INFO BlockManagerMasterEndpoint: Removing block manager BlockManagerId(1, x.x.x.x, 44879, None)
20/07/11 13:34:02 INFO BlockManagerMaster: Removed 1 successfully in removeExecutor
20/07/11 13:34:02 INFO DAGScheduler: Shuffle files lost for executor: 1 (epoch 0)
20/07/11 13:34:02 INFO DAGScheduler: Executor lost: 2 (epoch 1)
20/07/11 13:34:02 INFO BlockManagerMasterEndpoint: Trying to remove executor 2 from BlockManagerMaster.
20/07/11 13:34:02 INFO BlockManagerMasterEndpoint: Removing block manager BlockManagerId(2, y.y.y.y, 46191, None)
20/07/11 13:34:02 INFO BlockManagerMaster: Removed 2 successfully in removeExecutor
20/07/11 13:34:02 INFO DAGScheduler: Shuffle files lost for executor: 2 (epoch 1)
20/07/11 13:34:02 INFO ExecutorPodsAllocator: Going to request 2 executors from Kubernetes.
20/07/11 13:34:16 INFO ExecutorPodsAllocator: Going to request 2 executors from Kubernetes.

Executor 日志有：

20/07/11 15:55:01 INFO CoarseGrainedExecutorBackend: Driver commanded a shutdown
20/07/11 15:55:01 INFO MemoryStore: MemoryStore cleared
20/07/11 15:55:01 INFO BlockManager: BlockManager stopped
20/07/11 15:55:01 INFO ShutdownHookManager: Shutdown hook called

如何找到导致执行者删除的原因？

部署：

Replicas:               1 desired | 1 updated | 1 total | 1 available | 0 unavailable
StrategyType:           RollingUpdate
MinReadySeconds:        0
RollingUpdateStrategy:  1 max unavailable, 0 max surge
Pod Template:
  Labels:       app=test
                chart=test-2.0.0
                heritage=Tiller
                product=testp
                release=test
                service=test-spark
  Containers:
   test-spark:
    Image:     test-spark:2df66df06c
    Port:       <none>
    Host Port:  <none>
    Command:
      /spark/bin/start-spark.sh
    Args:
      while true; do sleep 30; done;
    Limits:
      memory:  4Gi
    Requests:
      memory:  4Gi
    Liveness:  exec [/spark/bin/liveness-probe.sh] delay=300s timeout=1s period=30s #success=1 #failure=10
    Environment:
      JVM_ARGS:                             -Xms256m -Xmx1g
      KUBERNETES_MASTER:                    https://kubernetes.default.svc
      KUBERNETES_NAMESPACE:                 test-spark
      IMAGE_PULL_POLICY:                    Always
      DRIVER_CPU:                           1
      DRIVER_MEMORY:                        2048m
      EXECUTOR_CPU:                         1
      EXECUTOR_MEMORY:                      2048m
      EXECUTOR_INSTANCES:                   2
      KAFKA_ADVERTISED_HOST_NAME:           kafka.default:9092
      ENRICH_KAFKA_ENRICHED_EVENTS_TOPICS:  test-events
Conditions:
  Type           Status  Reason
  ----           ------  ------
  Available      True    MinimumReplicasAvailable
  Progressing    True    NewReplicaSetAvailable
OldReplicaSets:  <none>
NewReplicaSet:   test-spark-5c5997b459 (1/1 replicas created)
Events:          <none>

【问题讨论】：

您是否定义了 Pod 的资源限制？您可能希望共享您的部署/状态集的清单。
使用部署信息更新查询。
由于您设置了 4Gi 的内存限制，也许您应该检查 pod 是否由于内存不足错误而被杀死。在 pod 上执行 kubectl describe（而不是在部署上）
我已经检查过了..终止原因显示为“已完成”..没有像OOM这样的错误。

标签： apache-spark kubernetes cluster-mode

【解决方案1】：

我对在 Kubernetes 上运行 Spark 进行了快速研究，似乎 Spark 在设计上会在它们完成运行 Spark 应用程序时终止 executor pod。引自 Spark 官方网站：

当应用程序完成时，执行程序 pod 终止并被清理，但驱动程序 pod 保留日志并在 Kubernetes API 中保持“已完成”状态，直到最终被垃圾收集或手动清理。

因此，我相信只要您的 Spark 实例仍然能够在需要时启动 executor pod，就无需担心重启。

参考：https://spark.apache.org/docs/2.4.5/running-on-kubernetes.html#how-it-works

【讨论】：

'Spark by design 将在他们完成运行 Spark 应用程序时终止 executor pod' - spark 如何确定应用程序已完成？它是 spark 流应用程序，所以它应该继续运行。

【解决方案2】：

我不知道您如何配置应用程序 pod，但您可以使用它来停止重新启动 pod，将其包含在您的部署 yaml 文件中，以便 pod 永远不会重新启动，您可以继续调试 pod。

restartPolicy: Never

【讨论】：