Spark-Yarn 集群模式下的动态资源分配答案

【问题标题】：Dynamic Resource allocation in Spark-Yarn Cluster ModeSpark-Yarn 集群模式下的动态资源分配
【发布时间】：2018-06-17 00:18:17
【问题描述】：

当我使用以下设置启动 spark 应用程序时（默认为 yarn-client 模式）工作正常

spark_memory_setting="--master yarn --conf spark.dynamicAllocation.enabled=true --conf spark.shuffle.service.enabled=true --conf spark.yarn.queue=ciqhigh --conf spark.dynamicAllocation.initialExecutors=50 --conf spark.dynamicAllocation.maxExecutors=50 --executor-memory 2G --driver-memory 4G"

问题

而当我将部署模式更改为集群时，应用程序无法启动。甚至没有抛出任何错误继续前进。

 spark_memory_setting="--master yarn-cluster --deploy-mode=cluster --conf spark.dynamicAllocation.enabled=true --conf spark.shuffle.service.enabled=true --conf spark.yarn.queue=ciqhigh --conf spark.dynamicAllocation.initialExecutors=50 --conf spark.dynamicAllocation.maxExecutors=50 --executor-memory 2G --driver-memory 4G"

日志

18/01/08 01:21:00 警告客户端：spark.yarn.am.extraJavaOptions 不会集群模式生效

这是记录器的最后一行。

欢迎提出任何建议。

这里要强调一个重要的想法，正在尝试部署的 spark 应用程序启动 apache thrift 服务器。经过我的搜索，我认为它的节俭因为无法在集群模式下运行纱线。在集群模式下运行的任何帮助。

【问题讨论】：

标签： apache-spark hadoop-yarn thrift-protocol spark-thriftserver

【解决方案1】：

选项 --master yarn-cluster 是错误的..这不是一个有效的主 url 它应该只是“yarn”而不是“yarn-cluster”..只是交叉检查..

【讨论】：

我按照你说的单独尝试了纱线，仍然没有运气。我现在的怀疑是，我们可以在集群模式下运行 apache thrift 吗？！！！