如何验证 DSE Spark Shell 是否在集群中分布

Question

如果 shell 连接到集群或仅在本地模式下运行，是否可以从 Spark shell 中验证哪些节点？我希望用它来调查以下问题：

我使用 DSE 设置了一个小型 3 节点 Cassandra Analytics 集群。我可以登录到 3 个服务器中的任何一个并运行 dse spark 并启动 Spark shell。我还验证了所有 3 台服务器都通过运行 dsetool sparkmaster 配置了 Spark 主服务器。

但是，当我使用 Spark shell 运行任何任务时，它似乎只在本地运行。我运行了一个小测试命令：

val rdd = sc.cassandraTable("test", "test_table")
rdd.count

当我查看 Spark Master 网页时，我发现只有一台服务器正在运行该作业。

我怀疑当我运行dse spark 时，它是在本地模式下运行shell。我查看了如何为 Spark 0.9.1 shell 指定一个主控，即使我使用MASTER=<sparkmaster> dse spark（来自Programming Guide）它仍然只能在本地模式下运行。

Answer 1

这里是您启动具有 3 个节点的 DSE 4.5.1 集群后的演练，全部设置为 Analytics Spark 模式。

一旦集群启动并运行，您可以使用命令dsetool sparkmaster 确定哪个节点是 Spark Master。该命令只打印当前主控；它不会影响哪个节点是主节点，也不会启动/停止它。

将 Web 浏览器指向给定 IP 地址和端口 7080 的 Spark Master Web UI。您应该看到 3 个工作线程处于 ALIVE 状态，并且没有正在运行的应用程序。 （如果以前的 Spark 作业发生在此集群上，您可能有一些 DEAD 工作人员或已完成的应用程序。）

现在在一个节点上使用dse spark 启动 Spark shell。如果您检查 Spark Master Web UI，您应该会看到一个名为“Spark shell”的正在运行的应用程序。它可能会显示分配的 1 个核心（默认）。

如果您单击应用程序 ID 链接（“app-2014...”），您将看到该应用程序的详细信息，包括一个执行程序（工作人员）。你给 Spark shell 的任何命令都会在这个 worker 上运行。

默认配置将 Spark master 限制为只允许每个应用程序使用 1 个核心，因此工作只会分配给单个节点。

要更改此设置，请登录 Spark 主节点并使用 sudo 编辑文件 /etc/dse/spark/spark-env.sh。找到设置SPARK_MASTER_OPTS 的行并删除-Dspark.deploy.defaultCores=1 部分。然后在这个节点上重启 DSE (sudo service dse restart)。

一旦出现，检查 Spark 主 Web UI 并使用 Spark shell 重复测试。您应该看到它被分配了更多的核心，并且它执行的任何作业都将发生在多个节点上。

在生产环境中，您需要更仔细地设置内核数量，以免单个作业占用所有资源。