【问题标题】:How to mount HDFS on Cloudera?如何在 Cloudera 上挂载 HDFS?
【发布时间】:2015-04-23 15:33:16
【问题描述】:

我正在开发一个运行 Cloudera 5.3 的集群,并且我已按照所有说明创建 NFS 网关并且它运行良好。我的问题是我仍然看不到 HDFS 目录作为 Linux 文件系统的一部分(这是 RHEL 6)。我不是 UNIX 管理员,所以我没有安装目录的经验,而且我在网上找到的文档对解决这个特定问题没有帮助。我试过简单的

mount /

在作为 NFS 网关的机器上,但这不起作用。当我尝试从另一台集群机器上使用

进行挂载时
mount <myNFSgateway>:/ /

我在网关服务器和 HDFS 上都看不到任何文件(尽管我可以使用 hdfs dfs -ls 轻松查看这些文件)。

既然设置了 NFS,我该如何将 HDFS 实际挂载为目录?

【问题讨论】:

    标签: hadoop hdfs cloudera mount nfs


    【解决方案1】:

    试试下面的命令来检查可用的挂载点

    showmount -e <nfs_server_ip_address>
    

    您应该会看到类似于以下内容的输出:

    Exports list on <nfs_server_ip_address>: 
    / (everyone)
    

    在 NFS 客户端上安装 HDFS 要在 NFS 客户端上导入 HDFS 文件系统,请在客户端上使用如下挂载命令:

     mount -t  nfs  -o vers=3,proto=tcp,nolock <nfs_server_hostname>:/ /hdfs_nfs_mount
    

    (挂载前请确认nfs相关库已安装,若未安装,请使用命令sudo yum install nfs-utils nfs-utils-lib安装库)

    【讨论】:

    • 我也尝试了该版本的 mount 命令(从 Apache 站点获得),但仍然无法正常工作。它无法识别 hdfs 中的目录,例如“/my/hdfs/dir 不存在”当我尝试挂载它时。
    • 只能挂载/HDFS目录,有没有安装答案中提到的依赖包?
    • 我确实安装了这些软件包。当我试图挂载/时,它仍然没有工作。我可以询问 Cloudera,我只是希望可能缺少一些简单的东西。
    • 你启动nfs网关服务了吗?
    • 我确实成功启动了网关服务
    猜你喜欢
    • 1970-01-01
    • 2017-03-24
    • 1970-01-01
    • 2022-06-25
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-07-20
    • 1970-01-01
    相关资源
    最近更新 更多