在 Spark 中设置执行器环境变量

【问题标题】：Setting executor environment variables in Spark在 Spark 中设置执行器环境变量
【发布时间】：2017-11-29 17:53:50
【问题描述】：

我正在使用 spark-defaults 分类 [http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-configure.html] 并提供以下属性：- spark.yarn.appMasterEnv.FOO = "foo" 在 yarn master 中设置环境变量。

我想知道这些变量是否也会出现在 executor 实例中？如果没有，有没有办法做同样的事情？

【问题讨论】：

标签： apache-spark environment-variables hadoop-yarn amazon-data-pipeline

【解决方案1】：

由属性 spark.yarn.appMasterEnv.FOO = "foo" 设置的环境变量不会出现在执行器实例上。

我使用以下分类在执行器和主节点上设置环境变量：

[   
  {
   "Classification": "yarn-env",
   "Properties": {},
   "Configurations": [
       {
         "Classification": "export",
         "Properties": {
             "VARIABLE_NAME": VARIABLE_VALUE,
         }
       }
   ]
 }
]

【讨论】：

谢谢。像魅力一样工作