【问题标题】:does hadoop not suffer the disk seeks as it sits on top of linux filesystem?hadoop 不会因为它位于 linux 文件系统之上而遭受磁盘搜索吗?
【发布时间】:2015-06-21 06:41:42
【问题描述】:

我是 Hadoop 新手,我知道 HDFS 是每块 64 mb(分钟),并且可以根据系统增加。但是由于 hdfs 安装在每块 4kb 的 linux 文件系统之上,hadoop 不会遭受磁盘搜索吗? hdfs 也与 linux 文件系统交互吗?

【问题讨论】:

  • 它是 4k 的原因是因为页面错误机制,因为页面是 4k 大。为什么你认为这增加了寻求?像 64m 这样的大块的原因是您可以从磁盘顺序读取它们而不是四处寻找。
  • 好吧,我知道 linux 有 4kb 块的原因。我的问题是,由于 hadoop 安装在 Linux 之上,而 hadoop 是每块 64mb,所以当 hadoop 的数据存储在磁盘上时,它会通过 linux 文件系统。

标签: hadoop hdfs


【解决方案1】:

你的想法在一定程度上是正确的,但要着眼于大局。当这 64 MB 存储在 Linux 文件系统上时,它分布在许多节点上。因此,如果您要读取存储在 3 个不同 Linux 文件系统(机器)上的 3 个块(每个 4 KB),则查找将仅用于 1 次查找,而不是 3 次查找,因为读取将是并行的。

我认为这可能会有所帮助: How are HDFS files getting stored on underlying OS filesystem?

【讨论】:

    猜你喜欢
    • 2018-05-06
    • 2023-04-05
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-07-18
    • 2015-09-27
    • 2013-05-24
    • 1970-01-01
    相关资源
    最近更新 更多