【问题标题】:Hadoop - data balanced automatically on copying to HDFS?Hadoop - 在复制到 HDFS 时自动平衡数据?
【发布时间】:2016-08-13 03:59:39
【问题描述】:

如果我将一组文件复制到 Hadoop 7 节点集群中的 HDFS,HDFS 是否会自动平衡 7 个节点之间的数据,有什么方法可以告诉 HDFS 将数据限制/强制到特定的集群中的节点?

【问题讨论】:

    标签: hadoop hdfs


    【解决方案1】:

    NameNode 是决定将数据块放在集群中不同节点上的哪个位置的“主”。理论上,您不应更改此行为,因为不建议这样做。如果您将文件复制到 hadoop 集群,NameNode 会自动负责将它们几乎均匀地分布在所有 DataNode 上。

    如果你想强制改变这种行为(不推荐),这些帖子可能会有用:

    1. How to put files to specific node?

    2. How to explicilty define datanodes to store a particular given file in HDFS?

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多