【发布时间】:2017-09-16 15:03:18
【问题描述】:
我已经将一个文件放入 HDFS,我想知道它是如何通过 DFS 分散的(哪些块在哪些数据节点中)。
尝试了 fsck,但是当我指定放入 DFS 的数据文件的名称时,我收到“无效路径”错误。
有什么想法吗?
【问题讨论】:
我已经将一个文件放入 HDFS,我想知道它是如何通过 DFS 分散的(哪些块在哪些数据节点中)。
尝试了 fsck,但是当我指定放入 DFS 的数据文件的名称时,我收到“无效路径”错误。
有什么想法吗?
【问题讨论】:
试试
hdfs fsck /path/to/file -files -blocks -locations
这将打印出文件每个块的位置。
Namenode Web UI 也将提供此信息。在Utilities --> Browse the file system 下,选择文件以查看块信息。
【讨论】:
hdfs fsck datafile
hdfs dfs -find / -name datafile -print
find: Permission denied: user=root, access=READ_EXECUTE(与 hdfs 用户所有权有关...)
hdfs dfs -ls /,超级用户名将列在文件权限中。以该用户身份登录以执行 hadoop 命令。