【发布时间】:2018-11-23 18:43:08
【问题描述】:
权威指南的以下摘录提供了如下所示的高级细节,但
- 此任务计数器中的虚拟内存到底指的是什么?
- 如何解释它?它与 PHYSICAL_MEMORY_BYTES 有什么关系?
以下是其中一项工作的示例摘录。物理大小约为 214 GB。虚拟空间约为 611 GB。
【问题讨论】:
标签: hadoop mapreduce hortonworks-data-platform apache-tez
权威指南的以下摘录提供了如下所示的高级细节,但
以下是其中一项工作的示例摘录。物理大小约为 214 GB。虚拟空间约为 611 GB。
【问题讨论】:
标签: hadoop mapreduce hortonworks-data-platform apache-tez
1.这个任务计数器中的虚拟内存到底指的是什么?
Virtual Memory here is used to prevent Out of Memory errors of a task,if data size doesn't fits in RAM(physical mem).
in RAM.So a portion of memory of size what didn't fit in RAM will be used as Virtual Memory.
因此,在设置 hadoop 集群时,建议使用 vm.swappiness =1 的值以获得更好的性能。在 linux 系统上,vm.swappiness 默认设置为 60。
值越高,内存页交换越积极。
https://community.hortonworks.com/articles/33522/swappiness-setting-recommendation.html
2。如何解读它?它与 PHYSICAL_MEMORY_BYTES 有什么关系?
swapping of memory pages from physical memory to virtual memory on disk when not enough phy mem
这是 PHYSICAL_MEMORY_BYTES 和 VIRTUAL_MEMORY_BYTES 之间的关系。
【讨论】: