【问题标题】:Mounting HDFS directory挂载 HDFS 目录
【发布时间】:2014-07-20 21:51:59
【问题描述】:

我可以将 HDFS 目录(在 Ubuntu 中配置)挂载到 Windows 服务器的驱动器吗?

映射后,例如 H:\ ---> \home\user1\HDFSCreatedDir ,想使用普通的 Java IO 包 API 读取、写入和移动/复制文件。

【问题讨论】:

  • 你可以用 Samba 来做这件事,但这里是题外话。询问Unix & Linux

标签: ubuntu hdfs mount


【解决方案1】:

是的,HDFS 目录可以挂载在 Windows 和 Linux 中。您可以使用以下工具之一:

  • contrib/fuse-dfs 建立在 fuse、一些 C 胶水、libhdfs 和 hadoop-dev.jar 之上
  • fuse-j-hdfs 建立在 fuse、fuse for java 和 hadoop-dev.jar 之上
  • hdfs-fuse - 一个谷歌代码项目,与 contrib/fuse-dfs 非常相似
  • webdav - hdfs 暴露为 webdav 资源
  • mapR - 包含一个闭源兼容 hdfs 的文件系统,支持读/写 NFS 访问
  • HDFS NFS 代理 - 将 HDFS 导出为 NFS,而不使用熔断器。支持 Kerberos 并重新排序写入,以便将它们按顺序写入 hdfs。
  • native-hdfs-fuse - C 中的 FUSE 实现,支持随机写入 虽然不完整的文件系统实现(FUSE 或其他),但以下项目在构建时可能很有用
  • hadoopus - 在 C 中为 hadoop 0.20.203 到 1.0.3 实现 libhdfs API

【讨论】:

  • 非常感谢您的回复。我会尝试以上选项。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2022-06-25
  • 2012-04-21
  • 2019-12-21
  • 2020-11-16
  • 2014-10-04
相关资源
最近更新 更多