我们是否需要修改 spark 集群 worker 的配置？

Question

我确实修改了spark集群驱动的配置，比如spark-defaults.conf和spark-env.sh这两个文件。我们是否需要对工人做同样的事情。它似乎不这样做，但我不确定。

Answer 1

Spark 属性 (spark-defaults.conf)：

没有。属性是特定于应用程序的，不是集群范围的，因此只能在 Spark 目录中设置。

环境变量：

如果您需要自定义设置，可以。环境变量是特定于机器的，不依赖于应用程序。