我无法向 Spark 应用程序添加持久卷声明答案

【问题标题】：I could not add persistent volume claim to Spark application我无法向 Spark 应用程序添加持久卷声明
【发布时间】：2022-07-12 23:15:18
【问题描述】：

我尝试了以下方法

spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.options.claimName=OnDemand
spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.options.storageClass=gp2
spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.options.sizeLimit=40Gi
spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.mount.path=/data
spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.mount.readOnly=false

抛出异常

    ERROR DiskBlockManager: Failed to create local dir in /data. Ignoring this directory.
java.io.IOException: Failed to create a temp directory (under /data) after 10 attempts!
    at org.apache.spark.util.Utils$.createDirectory(Utils.scala:305)
    at org.apache.spark.storage.DiskBlockManager.$anonfun$createLocalDirs$1(DiskBlockManager.scala:145)
    at scala.collection.TraversableLike.$anonfun$flatMap$1(TraversableLike.scala:245)
    at scala.collection.IndexedSeqOptimized.foreach(IndexedSeqOptimized.scala:36)
    at scala.collection.IndexedSeqOptimized.foreach$(IndexedSeqOptimized.scala:33)
    at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:198)
    at scala.collection.TraversableLike.flatMap(TraversableLike.scala:245)
    at scala.collection.TraversableLike.flatMap$(TraversableLike.scala:242)
    at scala.collection.mutable.ArrayOps$ofRef.flatMap(ArrayOps.scala:198)
    at org.apache.spark.storage.DiskBlockManager.createLocalDirs(DiskBlockManager.scala:143)
    at org.apache.spark.storage.DiskBlockManager.<init>(DiskBlockManager.scala:43)
    at org.apache.spark.storage.BlockManager.<init>(BlockManager.scala:191)
    at org.apache.spark.SparkEnv$.create(SparkEnv.scala:394)
    at org.apache.spark.SparkEnv$.createExecutorEnv(SparkEnv.scala:205)
    at org.apache.spark.executor.CoarseGrainedExecutorBackend$.$anonfun$run$7(CoarseGrainedExecutorBackend.scala:442)
    at org.apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:62)
    at org.apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:61)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)

我没有使用 pvc 声明作为 spark driver pod。你能帮帮我吗？

【问题讨论】：

标签： apache-spark kubernetes

【解决方案1】：

我有一个类似的问题，实际上是确切的错误消息，但在我的情况下，我试图使用亚马逊的 EFS 文件系统。结果是我设法根据this answer 修复了一个权限问题。不幸的是，此解决方案不适用于您的用例，因为您使用的是 EBS。不过，它可能仍然与权限相关。

附：我会将其作为评论发布，因为它不是实际答案，但我的声誉级别不允许发布 cmets。

【讨论】：