HPCC/HDFS 连接器

Question

有人知道 HPCC/HDFS 连接器吗？我们同时使用 HPCC 和 HADOOP。HPCC 开发了一种实用程序（HPCC/HDFS 连接器），它允许 HPCC 集群访问 HDFS 数据

我已经安装了连接器，但是当我运行程序以从 hdfs 访问数据时，由于 libhdfs.so.0 不存在而出现错误。

我尝试使用命令构建 libhdfs.so

 ant compile-libhdfs -Dlibhdfs=1

它给了我错误

项目“hadoop”中不存在目标“compile-libhdfs”

我又使用了一个命令

 ant compile-c++-libhdfs -Dlibhdfs=1

它给出的错误为

常春藤下载：

  [get] Getting: http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar

  [get] To: /home/hadoop/hadoop-0.20.203.0/ivy/ivy-2.1.0.jar

  [get] Error getting http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar

到/home/hadoop/hadoop-0.20.203.0/ivy/ivy-2.1.0.jar

构建失败 java.net.ConnectException: 连接超时

任何建议都会有很大帮助

Answer 1

Chhaya，您可能不需要构建 libhdfs.so，这取决于您安装 hadoop 的方式，您可能已经拥有它。

签入HADOOP_LOCATION/c++/Linux-<arch>/lib/libhdfs.so，其中HADOOP_LOCATION 是您的hadoop 安装位置，arch 是机器的架构（i386-32 或 amd64-64）。

找到库后，请确保正确配置 H2H 连接器 (see page 4 here)。

只需更新配置文件中的HADOOP_LOCATION var： /opt/HPCCSystems/hdfsconnector.conf

祝你好运。