我正在尝试了解 spark 如何在 YARN 集群/客户端上运行。我有以下问题。
是否需要在yarn cluster的所有节点上安装spark？我认为应该是因为集群中的工作节点执行任务并且应该能够解码驱动程序发送到集群的spark应用程序中的代码（spark API）？
它在文档中说“确保HADOOP_CONF_DIR 或YARN_CONF_DIR 指向包含Hadoop 集群（客户端）配置文件的目录”。为什么客户端节点在将作业发送到集群时必须安装 Hadoop？
【问题讨论】：
标签： hadoop apache-spark hdfs hadoop-yarn
添加到其他答案。
- 是否需要在yarn中的所有节点上都安装spark 集群？
否，如果 spark 作业在 YARN 中调度（client 或 cluster 模式）。只有standalone mode需要在很多节点上安装Spark。
这些是 Spark 应用部署模式的可视化。
在cluster 模式下，驱动程序 将位于Spark Worker 节点之一，而在client 模式下，它将位于在启动的机器中这份工作。
此表提供了这些模式之间差异的简明列表：
- 它在文档中说“确保 HADOOP_CONF_DIR 或 YARN_CONF_DIR 指向包含（客户端） Hadoop集群的配置文件”。为什么客户端节点有 在将作业发送到集群时安装 Hadoop？
Hadoop 安装不是强制性的但配置（不是全部）是！。 我们可以称它们为网关节点。主要有两个原因。
HADOOP_CONF_DIR 目录中包含的配置将分发到 YARN 集群，以便应用程序使用的所有容器使用相同的配置。yarn-default.xml）。因此，--master 参数为yarn。Spark 2.0+ 不再需要胖组装罐进行生产 部署。 source
【讨论】：
我们正在 YARN 上运行 spark 作业（我们使用 HDP 2.2）。
我们没有在集群上安装 spark。我们只将 Spark 程序集 jar 添加到 HDFS。
例如运行 Pi 示例：
./bin/spark-submit \
--verbose \
--class org.apache.spark.examples.SparkPi \
--master yarn-cluster \
--conf spark.yarn.jar=hdfs://master:8020/spark/spark-assembly-1.3.1-hadoop2.6.0.jar \
--num-executors 2 \
--driver-memory 512m \
--executor-memory 512m \
--executor-cores 4 \
hdfs://master:8020/spark/spark-examples-1.3.1-hadoop2.6.0.jar 100
--conf spark.yarn.jar=hdfs://master:8020/spark/spark-assembly-1.3.1-hadoop2.6.0.jar - 这个配置告诉纱线从被带走火花组件。如果你不使用它，它会从你运行spark-submit上传jar。
关于第二个问题：客户端节点不需要安装 Hadoop。它只需要配置文件。您可以将目录从集群复制到客户端。
【讨论】：
Spark 在YARN 模式下不再使用--num-executors
spark.dynamicAllocation.initialExecutors for --num-executors or spark.executor.instances
1 - 如果遵循从/主架构，则 Spark。所以在你的集群上，你必须安装一个 spark master 和 N 个 spark slave。您可以在独立模式下运行 spark。但是使用 Yarn 架构会给你带来一些好处。 这里有一个很好的解释：http://blog.cloudera.com/blog/2014/05/apache-spark-resource-management-and-yarn-app-models/
2- 例如，如果你想使用 Yarn 或 HDFS，这是必要的，但正如我之前所说，你可以在独立模式下运行它。
【讨论】：
让我试着剪断胶水，让它变得不耐烦。
6 个组件：1. 客户端、2. 驱动程序、3. 执行器、4. 应用程序主控器、5. 工作器和 6. 资源管理器； 2 种部署模式；和2资源（集群）管理。
关系如下：
没什么特别的，就是提交 spark 应用。
没什么特别的，一个worker拥有一个或多个executor。
（无论是客户端还是集群模式）
瞧！
【讨论】：