Hadoop YARN 集群/Spark 和 RAM 磁盘

Question

因为我的计算任务需要快速的磁盘 I/O，我有兴趣在运行 Spark 的 YARN 集群中的每个工作节点上安装大型 RAM 磁盘，因此想知道 YARN 集群管理器如何处理这样一个内存盘。

例如，如果我在每台 128GB RAM 机器上分配 32GB 到 RAM 磁盘，YARN 集群管理器是否知道如何分配 RAM 以避免在执行任务时过度分配内存（在这种情况下，YARN 的RAM 到被征用的任务，或者最多只有 96GB）？

如果是这样，是否有任何方法向 YARN 集群管理器指示存在 RAM 磁盘，因此 RAM 的特定分区对 YARN 是禁止的？ Spark 也会知道这些限制吗？

Answer 1

在 Spark 配置中，您可以设置驱动程序和执行程序配置，例如内核和内存分配量。此外，当您使用 yarn 作为资源管理器时，它还支持一些额外的配置，您可以帮助您更好地管理集群资源。 "spark.driver.memoryOverhead" 或 "spark.yarn.am.memoryOverhead" 这是堆外空间的数量，默认值为

AM 内存 * 0.10，最小为 384

更多信息请点击link。