【问题标题】:Hadoop HDFS Data File : Displaying Datanodes & BlocksHadoop HDFS 数据文件:显示数据节点和块
【发布时间】:2017-09-16 15:03:18
【问题描述】:

我已经将一个文件放入 HDFS,我想知道它是如何通过 DFS 分散的(哪些块在哪些数据节点中)。

尝试了 fsck,但是当我指定放入 DFS 的数据文件的名称时,我收到“无效路径”错误。

有什么想法吗?

【问题讨论】:

    标签: hadoop hdfs bigdata


    【解决方案1】:

    试试

    hdfs fsck /path/to/file -files -blocks -locations
    

    这将打印出文件每个块的位置。

    Namenode Web UI 也将提供此信息。在Utilities --> Browse the file system 下,选择文件以查看块信息。

    【讨论】:

    • 谢谢。我已经看到了这个选项,但是我放在 HDFS 上的文件(称为“数据文件”)导致 fsck 命令出现“无效路径”错误hdfs fsck datafile
    • 您必须提供完整的路径。你可以通过查找知道文件在哪里hdfs dfs -find / -name datafile -print
    • find 命令返回以下错误find: Permission denied: user=root, access=READ_EXECUTE(与 hdfs 用户所有权有关...)
    • 是的,您以 root 身份登录。您应该以 Hdfs 超级用户身份运行该命令。如果你不是 hdfs 用户,运行hdfs dfs -ls /,超级用户名将列在文件权限中。以该用户身份登录以执行 hadoop 命令。
    猜你喜欢
    • 2019-05-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-10-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多