【发布时间】:2012-01-20 18:51:19
【问题描述】:
我将大量数据存储到 hdfs 中。我需要将文件从一个文件夹移动到另一个文件夹。
请问文件系统重命名方法的费用一般是多少? 假设我必须移动 TB 的数据。
非常感谢。
【问题讨论】:
标签: java filesystems hadoop hdfs
我将大量数据存储到 hdfs 中。我需要将文件从一个文件夹移动到另一个文件夹。
请问文件系统重命名方法的费用一般是多少? 假设我必须移动 TB 的数据。
非常感谢。
【问题讨论】:
标签: java filesystems hadoop hdfs
如果实施得当,在 HDFS 或任何文件系统中移动文件涉及更改名称空间,而不是移动实际数据。遍历代码仅完成 Name 节点中名称空间(内存和编辑日志)的更改。
来自NameNode.java 类
只需要修改第一部分,block to machine list不需要。我没试过,但我想应该没问题。
【讨论】:
重命名是 HDFS 中的仅元数据操作。因此,它也非常便宜,就像在普通的 POSIX 文件系统中一样。没有数据被移动。唯一涉及的服务器是名称节点。
重命名的源代码可以在here找到。非常直接。
【讨论】: