如何在 Apache Spark 中的集群类型之间切换答案

【问题标题】：how to switch between cluster types in Apache Spark如何在 Apache Spark 中的集群类型之间切换
【发布时间】：2018-01-11 11:38:38
【问题描述】：

我正在尝试在我为学习而安装的 Apache Spark 中将集群管理器从独立切换到“YARN”。

不过，我想知道更改集群类型的步骤/语法。例如：从 Standalone 到 YARN 或从 YARN 到 Standalone。

【问题讨论】：

您的硬件/软件怎么样？ YARN 独立于 Spark 资源管理器，适用于许多其他应用程序。据我所知，Spark 不提供 YARN，因此您必须确保已安装 YARN。

【解决方案1】：

在 spark 中有一个函数名为 --master，可以帮助您在 yarn 集群模式或独立模式下执行脚本。

在本地模式或独立模式下运行应用程序，使用 spark-submit 命令

--master Local[*]

或

  --master spark://192.168.10.01:7077 \
  --deploy-mode cluster \

在 YARN 集群上运行

 --master yarn 
 --deploy-mode cluster

【讨论】：

【解决方案2】：

如果你不是通过命令行运行，那么你可以直接在 SparkConf 对象上设置这个 master。

sparkConf.setMaster(http://path/to/master/url:port) in cluster mode

或

sparkConf.setMaster(local[*]) in client/local mode

【讨论】：