为什么 hadoop 不向所有节点分发文件？

Question

我根据http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/ 中的演练设置了一个 4 节点 hadoop 集群。我使用了 1 的复制（集群仅用于测试）

我从本地复制了一个 2GB 的文件。在 http 界面中浏览文件时，我看到它被拆分为 31 个块，但它们都在一个节点（主节点）上

这是正确的吗？我该如何调查原因？

Answer 1

它们都在一个节点上，因为默认情况下 Hadoop 会默认首先写入本地节点。我猜你正在使用那个节点的 Hadoop 客户端。因为你有一个副本，所以它只会在那个节点上。

由于您只是在玩耍，您可能希望强制将数据分散出去。为此，您可以使用hadoop rebalancer 运行rebalancer。几分钟后只需 control-C 即可。