Spark Worker /tmp 目录

Question

我正在使用 spark-2.1.1-bin-hadoop-2.7 独立模式（4 个 worker 的集群，120g 内存，总共 32 个内核） 虽然我将spark.local.dir conf 参数定义为写入/opt，但spark worker 继续写入/tmp 目录，例如/tmp/spark-e071ae1b-1970-47b2-bfec-19ca66693768

有没有办法告诉 spark worker 不要写信给/tmp dir？

Answer 1

根据spark documentation，很少有环境变量会覆盖属性'spark.local.dir'，请尝试检查这些环境变量

引用文档：

spark.local.dir

用于 Spark 中“临时”空间的目录，包括地图输出 存储在磁盘上的文件和 RDD。这应该是快速的， 系统中的本地磁盘。它也可以是逗号分隔的列表 不同磁盘上的多个目录。注意：这将被覆盖 通过 SPARK_LOCAL_DIRS（独立）、MESOS_SANDBOX（Mesos）或 LOCAL_DIRS (YARN) 由集群管理器设置的环境变量。