HDFS 块拆分

Question

我的 Hadoop 知识已经 4 周了。我正在使用带有 Hadoop 的沙箱。

根据理论，当一个文件被复制到 HDFS 文件系统中时，它会被分割成 128 MB 的块。然后将每个块复制到不同的数据节点，然后复制到数据节点。

问题：

1. 当我将一个数据文件 (~500 MB) 从本地文件系统复制到 HDFS（put 命令）时，整个文件仍然存在于 HDFS（-ls 命令）中。我期待看到 128 MB 块。我在这里做错了什么？

2. 如果假设，我设法在 HDFS 中拆分和分发数据文件，有没有办法将原始文件合并并检索回本地文件系统？

Answer 1

1. 您不会看到-ls 命令中的各个块。这些是未在 Linux 的 ls 或 Windows 资源管理器中显示的硬盘驱动器上的块的逻辑等价物。您可以像hdfs fsck /user/me/someFile.avro -files -blocks -locations 这样在命令行上执行此操作，或者您可以使用NameNode UI 查看哪些主机具有文件块，以及每个块在哪些主机上被复制。
2. 当然。您只需执行hdfs dfs -get /user/me/someFile.avro 之类的操作或使用 HUE 或 NameNode UI 下载文件。所有这些选项都会将适当的块流式传输给您，以将逻辑文件重新组合在一起。