【发布时间】:2015-06-21 06:41:42
【问题描述】:
我是 Hadoop 新手,我知道 HDFS 是每块 64 mb(分钟),并且可以根据系统增加。但是由于 hdfs 安装在每块 4kb 的 linux 文件系统之上,hadoop 不会遭受磁盘搜索吗? hdfs 也与 linux 文件系统交互吗?
【问题讨论】:
-
它是 4k 的原因是因为页面错误机制,因为页面是 4k 大。为什么你认为这增加了寻求?像 64m 这样的大块的原因是您可以从磁盘顺序读取它们而不是四处寻找。
-
好吧,我知道 linux 有 4kb 块的原因。我的问题是,由于 hadoop 安装在 Linux 之上,而 hadoop 是每块 64mb,所以当 hadoop 的数据存储在磁盘上时,它会通过 linux 文件系统。