【发布时间】：2016-11-29 16:54:49
【问题描述】：
我有以下代码
import com.datastax.spark.connector._
sc.cassandraTable("test", "hello").cassandraCount
这需要大约 1 小时 30 分钟才能完成，但在此过程中会产生以下输出
[阶段 0：> (12 + 2) / 26674]
其中 26674 是任务总数 和 12 是已完成的任务 数字 2 中最重要的一个是可以并行运行的任务数，换句话说，此应用程序可以使用的最大内核数是 2。所以我的大问题是如何改变这个？
我有 1 个 spark 主节点和 2 个 spark 工作节点 每个 Spark 工作节点都有 4 个 vCPU 和 16GB RAM (m4.xlarge)。
我尝试为以下标志设置不同的值
--executor-cores --total-executor-cores --num-executors
但我无法将 2 更改为更高的值有什么想法吗？
我使用 Spark Standalone 集群
【问题讨论】：
-
--master是什么？希望你不是在默认的上运行。 -
没有--master 对吧？只是“主人”。火花“主”节点
-
在启动 shell 或提交 Spark 应用程序时，您可能指定了
--master -
我使用的是独立集群，所以我没有指定该标志以及 spark-shell
-
尝试将
--master spark://MASTER_IP:PORT传递给 spark-shell
标签： apache-spark