由于任务积压而请求执行者答案

【问题标题】：Requesting executors because tasks are backlogged由于任务积压而请求执行者
【发布时间】：2016-09-04 18:35:43
【问题描述】：

我有一个 spark 流应用程序，直到昨天它运行得非常好，然后突然遇到这些警告。我有相同的环境并使用相同的代码。以下是警告：

05/09 17:13:03 INFO ExecutorAllocationManager：请求 16 个新执行器，因为任务积压（新的期望总数为 31） 16/05/09 17:13:03 INFO ExecutorAllocationManager：请求 19 个新 executors，因为任务积压（新的期望总数为 50）

16/05/09 17:13:12 WARN YarnScheduler：初始作业未接受任何资源;检查您的集群 UI 以确保工作人员已注册并且有足够的资源

16/05/09 17:13:27 WARN YarnScheduler：初始作业未接受任何资源;检查您的集群 UI 以确保工作人员已注册并且有足够的资源

我在 cloudera 5.5 上使用 apache spark 1.6。快速启动虚拟机。集群上没有运行应用程序来消耗可用资源。

有什么需要做的配置吗？

谢谢！

【问题讨论】：

TaskSchedulerImpl: Initial job has not accepted any resources; 的可能重复项。如果该问题不能解决您的问题，请编辑以说明您尝试了什么以及发生了什么。
你启用了动态执行器分配吗？
是的，我添加了以下属性 yarn.nodemanager.aux-servicesspark_shuffleyarn .nodemanager.aux-services.spark_shuffle.classorg.apache.spark.network.yarn.YarnShuffleService in spark-env.sh
我需要任何其他参数来启用动态分配吗？我还在 spark-env 中添加了 SPARK_WORKER_MEMORY, CORES 但这没有帮助！！
@Abhi，你找到解决问题的办法了吗？

标签： apache-spark pyspark cloudera-quickstart-vm

【解决方案1】：

快速入门 vm 旨在让您快速体验该功能，并且可能被配置为“装在盒子里”而不是为了长期稳定。

一般来说，我对沙盒和快速入门问题的建议是在需要时设置一个新的。

在这种特定情况下，快速入门适用于 CDH，其继任者 (CDP) 已经推出。

CDP，Cloudera Data Platform 是 CDH 和 HDP 的继承者。

如果您想查看最新版本，有一个试用版可以满足您可能想要使用快速入门的大多数目的。这个可以下载here。

全面披露：我是 CDH 和 CDP 背后的公司 Cloudera 的员工。

【讨论】：