Spark：hdfs集群模式

Question

我刚刚开始使用 Apache Spark。我正在使用集群模式（master、slave1、slave2），我想处理一个保存在 Hadoop（hdfs）中的大文件。我正在使用 SparkContext 中的 textFile 方法；在处理文件时，我监视节点，我可以看到只有 slave2 正在工作。处理后slave2有任务slave1没有任务。 如果我使用本地文件而不是使用 hdfs，那么两个从站同时工作。 我不明白为什么会有这种行为。请问，谁能给我一个线索？

Answer 1

这种行为的主要原因是数据局部性的概念。当 Spark 的 Application Master 请求创建新的 executor 时，会尝试将它们分配到数据所在的同一节点中。

即在您的情况下，HDFS 很可能已将文件的所有块写入同一节点上。因此 Spark 将实例化该节点上的执行程序。相反，如果您使用本地文件，它将存在于所有节点中，因此数据局部性将不再是问题。