尝试使用 Fuse 挂载 HDFS。无法编译 libhdfs答案

【问题标题】：Trying to use Fuse to mount HDFS. Can't compile libhdfs尝试使用 Fuse 挂载 HDFS。无法编译 libhdfs
【发布时间】：2011-10-05 16:54:08
【问题描述】：

我正在尝试编译 libhdfs（允许外部应用程序与 hdfs 交互的本机共享库）。这是我使用 Fuse 挂载 Hadoop 的 hdfs 所必须采取的几个步骤之一。

编译似乎进行了一段时间，但以“BUILD FAILED”和以下问题摘要结束 -

commons-logging#commons-logging;1.0.4：在 commons-logging#commons-logging 中找不到配置；1.0.4：'master'。 org.apache.hadoop#Hadoop;working@btsotbal800 commons-logging 需要它

log4j#log4j;1.2.15: 在 log4j#log4j;1.2.15: 'master' 中找不到配置。 org.apache.hadoop#Hadoop;working@btsotbal800 log4j 需要它

现在，我对此有几个问题，因为我用来做这件事的书并没有详细说明这些事情到底是什么。

Hadoop 使用 commons-logging 和 log4j 库吗？
这些库似乎位于 $HADOOP_HOME/lib 中。它们虽然是 jar 文件。我应该将它们提取出来，尝试更改一些配置，然后将它们重新打包回罐子中吗？
上述错误中的“master”是什么意思？有不同版本的库吗？

提前感谢您提供的任何见解。

【问题讨论】：

标签： ant hadoop mount fuse hdfs

【解决方案1】：

如果您使用的是cloudera hadoop(cdh3u2)，则不需要构建fuse项目。

您可以在 $HADOOP_HOME/c++/lib 目录中找到二进制文件(libhdfs.so*)

在 fuse mount 之前更新“$HADOOP_HOME/contrib/fuse-dfs/src/fuse_dfs_wrapper.sh”如下

HADOOP_HOME/contrib/fuse-dfs/src/fuse_dfs_wrapper.sh

#!/bin/bash

for f in ${HADOOP_HOME}/hadoop*.jar ; do
   export CLASSPATH=$CLASSPATH:$f
done

for f in ${HADOOP_HOME}/lib/*.jar ; do
   export CLASSPATH=$CLASSPATH:$f
done

export PATH=$HADOOP_HOME/contrib/fuse-dfs:$PATH
export LD_LIBRARY_PATH=$HADOOP_HOME/c++/lib:/usr/lib/jvm/java-6-sun-1.6.0.26/jre/lib/amd64/server/
fuse_dfs $@

LD_LIBRARY_PATH 包含此处的目录列表
"$HADOOP_HOME/c++/lib" 包含 libhdfs.so 和
“/usr/lib/jvm/java-6-sun-1.6.0.26/jre/lib/amd64/server/”包含 libjvm.so \# modify /usr/lib/jvm/java-6-sun-1.6.0.26/jre/lib/amd64/server/ 作为你的 java_home

使用以下命令挂载hdfs

fuse_dfs_wrapper.sh dfs://localhost:9000/ /home/510600/mount1

使用以下命令卸载

fusermount  -u /home/510600/mount1

我只在 hadoop 伪模式下测试了 fuse，而不是在集群模式下

【讨论】：