【问题标题】:Will YARN working on NUMA respect node memory locality?在 NUMA 上工作的 YARN 会尊重节点内存位置吗?
【发布时间】:2021-04-29 15:44:23
【问题描述】:

我正在使用基于 Giraph 的应用程序,该应用程序在 NUMA 系统中大量使用内存。它频繁地写入和读取内存并且有多个线程。假设我安排 4 个工作人员的内核数量与每个芯片的内核数量一样多,这是否意味着他们将被固定到特定的 CPU,以便他们只能使用本地 NUMA 内存?

【问题讨论】:

    标签: hadoop-yarn numa giraph


    【解决方案1】:

    这取决于您使用的 YARN 版本。从 YARN 3.1.0 开始,您可以在配置中启用 NUMA 调度。补丁可以在这里找到:

    https://issues.apache.org/jira/browse/YARN-5764

    【讨论】:

      猜你喜欢
      • 2014-08-18
      • 2019-01-12
      • 2017-05-26
      • 1970-01-01
      • 2021-02-11
      • 2015-07-14
      • 1970-01-01
      • 1970-01-01
      • 2022-01-07
      相关资源
      最近更新 更多