【发布时间】：2013-04-28 14:28:07
【问题描述】：
Hadoop 文件系统是物理文件系统还是虚拟文件系统
【问题讨论】：
标签： hadoop hdfs hadoop-streaming hadoop-partitioning hdfstore
【发布时间】：2013-04-28 14:28:07
【问题描述】：
HDFS 是在物理 FS 之上运行的虚拟 FS。
【讨论】：
-
为什么HDFS默认块大小是64MB？为什么不是 32MB 或 50MB？我知道它基于 1024 规则吗？但它也可以是 32MB 对吗？请证明..
-
如果块大小太小或太大，它会成为网络和磁盘的开销。如果块非常小，则会增加磁盘 i/o 和网络流量。如果它非常大，它将再次导致网络拥塞。您也可能在长时间运行的任务中遇到与内存相关的问题。因此块大小保持“适度”高（通常为 64M 或 128M）
-
谁能定义什么是HDFS客户端？
-
我还有几个问题。1）假设我将 1GB 数据加载到具有块默认块大小（64MB）的 HDFS 中，10 秒后 128MB 数据写入假设 2 个数据节点（2 个块），写操作仍在执行，我可以读取那些写入的块吗？如果是这样，我该如何阅读？什么是命令。 2) 我可以将文件并行写入/读取到 HDFS 中吗？像两个写作业还是两个读作业？
-
@Tariq：如果我错了，请纠正我。HDFS 是一个逻辑文件系统。但是为什么我们在存储角度说 Block 是数据的物理表示，而 Split 是数据的逻辑表示。在操作系统级别，我们看不到任何物理文件。那么Block是怎样的物理数据...