【问题标题】:About hadoop hdfs filesystem rename关于 hadoop hdfs 文件系统重命名
【发布时间】:2012-01-20 18:51:19
【问题描述】:

我将大量数据存储到 hdfs 中。我需要将文件从一个文件夹移动到另一个文件夹。

请问文件系统重命名方法的费用一般是多少? 假设我必须移动 TB 的数据。

非常感谢。

【问题讨论】:

    标签: java filesystems hadoop hdfs


    【解决方案1】:

    如果实施得当,在 HDFS 或任何文件系统中移动文件涉及更改名称空间,而不是移动实际数据。遍历代码仅完成 Name 节点中名称空间(内存和编辑日志)的更改。

    来自NameNode.java

    • NameNode 控制两个关键表:
    • 1) 文件名->blocksequence(命名空间)
    • 2) 块->机器列表(“inode”)

    只需要修改第一部分,block to machine list不需要。我没试过,但我想应该没问题。

    【讨论】:

      【解决方案2】:

      重命名是 HDFS 中的仅元数据操作。因此,它也非常便宜,就像在普通的 POSIX 文件系统中一样。没有数据被移动。唯一涉及的服务器是名称节点。

      重命名的源代码可以在here找到。非常直接。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2015-09-27
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2023-03-17
        • 2015-03-28
        相关资源
        最近更新 更多