【发布时间】：2015-08-23 06:02:02
【问题描述】：
我想知道 Spark 或 Flink 执行引擎（主调度程序）如何为每个块找到合适的工作程序。
namenode 将能够告诉他们块的确切位置，但这项任务是由 Spark 和 Flink 的作业管理器完成的，还是 YARN 的作用？
【问题讨论】：
-
感谢您的回答。这很有帮助！
标签： apache-spark hdfs hadoop-yarn apache-flink
【发布时间】：2015-08-23 06:02:02
【问题描述】：
我只能说 Flink。 JobManager 向HDFS Namenode 请求块信息并计算块任务分配。首先，将本地块分配给每个TaskManger (TM)。如果 TM 没有任何本地块，则会分配远程块。如果没有可用的本地块，则所有剩余的块均分配给所有 TM（以获得良好的负载平衡）。
【讨论】：