使用 HDFS 作为数据目录创建 MarkLogic 森林时出错答案

【问题标题】：Error while creating MarkLogic Forest with HDFS as data directory使用 HDFS 作为数据目录创建 MarkLogic 森林时出错
【发布时间】：2015-03-12 19:29:29
【问题描述】：

我正在开发MarkLogic 分层存储POC，HDFS 作为其中一层的存储层。我一直在尝试创建一个以数据目录作为 Hadoop 文件系统目录的森林。

我有一个 Hadoop 集群和一个 MarkLogic 集群。我从 Hadoop 下载了配置文件并将它们复制到 /usr/Hadoop 目录，并且我还根据此处的文档下载了所需的 jar 文件。 https://docs.marklogic.com/guide/performance/disk-storage#id_27091

我也将这些放置在具有正确lib 结构的/usr/Hadoop 目录中。我使用MarkLogic 7.0-4.3 版本和Cloudera Hadoop Distribution 5.3.1 为HDFS。

我在尝试创建森林时收到以下错误。

2015-03-12 19:17:20.087 Error: Automount Foresthadoop: SVC-HDFSNOT:
HDFS not available for 'hdfs://{namdenode-hostname}:8020/tmp': unknown error

我尝试在组配置中将日志级别更改为最佳，并且还为林添加了跟踪事件。但我无法获得任何可以指出错误的其他详细信息。

在这方面的任何帮助将不胜感激。请让我知道是否有任何其他方式可以连接到 HDFS 作为林目录。

【问题讨论】：

MarkLogic 的完整版本号是多少？ hdfs://{namdenode-hostname}:8020/tmp 中的那些花括号是文字，还是您清理了日志消息？
我正在使用 MarkLogic 7.0-4.3 和 Clodera Hadoop Distribution 5.3.1。我更改了日志消息，用花括号和字符串文字替换了实际的主机名。

标签： hdfs marklogic

【解决方案1】：

未知错误是由于我使用的 Java 造成的。我让 JAVA_HOME 指向 IBM 版本的 java，并且在尝试连接 HDFS 时，MarkLogic 在日志中不断给出有关 ibm java 安装目录中缺少 .io 文件的错误。我们找到了那些丢失的 io 文件并将它们放在适当的目录中，最终导致了未知错误。

在我们安装 oracle Java 7 并让 JAVA_HOME 指向该位置后，MarkLogic 使用 CDH 4.3.1 版本，这是 MarkLogic 认证的 Hadoop 版本

当我尝试使用带有最新 jar 的 CDH5.3.1 版本的 hadoop 时，尽管我在 HDFS 客户端中有包含此文件的 jar，但 MarkLogic 不断给出以下错误。

2015-03-19 15:53:44.516 警报：XDMP-FORESTERR：森林 Foresthadoop2 初始化出错：SVC-NOJCLASS： java.lang.NoClassDefFoundError: 无法初始化类 org.apache.hadoop.util.VersionInfo

当我联系 MarkLogic 支持团队时，他们确认 CDH5.3.1 版本的 Hadoop 尚未获得 MarkLogic 的认证，他们将其作为产品地图的一部分。

目前的结论是 CDH 5.3.1 不适用于 MarkLogic。

【讨论】：