mapr windows客户端不工作

Question

我正在尝试安装 mapr windows 客户端。我已按照 mapr windows 客户端安装中列出的所有步骤进行操作。我已将 ssl_truststore 文件从我们的集群复制到 C:\opt\mapr\conf 文件夹并运行 configure.bat 文件。它运行时没有任何错误，我什至用更新的集群名称和 CLDB 节点验证了 C:\opt\mapr\conf\mapr-clusters.conf。

但是当我通过更改到文件夹 c:\opt\mapr\hadoop\hadoop-2.7.0\bin 来运行以下命令时

hadoop fs -ls /

我收到以下错误

18/01/19 14:05:07 ERROR cldbutils.CLDBRpcCommonUtils: Exception during init
java.lang.UnsatisfiedLinkError: com.mapr.security.JNISecurity.SetClusterOption(Ljava/lang/String;Ljava/lang/String;Ljava/lang/String;)I
at com.mapr.security.JNISecurity.SetClusterOption(Native Method)
at com.mapr.baseutils.cldbutils.CLDBRpcCommonUtils.init(CLDBRpcCommonUtils.java:163)
at com.mapr.baseutils.cldbutils.CLDBRpcCommonUtils.<init>(CLDBRpcCommonUtils.java:73)
at com.mapr.baseutils.cldbutils.CLDBRpcCommonUtils.<clinit>(CLDBRpcCommonUtils.java:63)
at org.apache.hadoop.conf.CoreDefaultProperties.<clinit>(CoreDefaultProperties.java:69)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:348)
at org.apache.hadoop.conf.Configuration.getClassByNameOrNull(Configuration.java:2147)
at org.apache.hadoop.conf.Configuration.getProperties(Configuration.java:2362)
at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:2579)
at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:2531)
at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:2444)
at org.apache.hadoop.conf.Configuration.set(Configuration.java:1156)
at org.apache.hadoop.conf.Configuration.set(Configuration.java:1128)
at org.apache.hadoop.conf.Configuration.setBoolean(Configuration.java:1464)
at org.apache.hadoop.util.GenericOptionsParser.processGeneralOptions(GenericOptionsParser.java:321)
at org.apache.hadoop.util.GenericOptionsParser.parseGeneralOptions(GenericOptionsParser.java:487)
at org.apache.hadoop.util.GenericOptionsParser.<init>(GenericOptionsParser.java:170)
at org.apache.hadoop.util.GenericOptionsParser.<init>(GenericOptionsParser.java:153)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:64)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
at org.apache.hadoop.fs.FsShell.main(FsShell.java:340)
Exception in thread "main" java.lang.UnsatisfiedLinkError: com.mapr.security.JNISecurity.SetParsingDone()V
at com.mapr.security.JNISecurity.SetParsingDone(Native Method)
at com.mapr.baseutils.cldbutils.CLDBRpcCommonUtils.init(CLDBRpcCommonUtils.java:231)
at com.mapr.baseutils.cldbutils.CLDBRpcCommonUtils.<init>(CLDBRpcCommonUtils.java:73)
at com.mapr.baseutils.cldbutils.CLDBRpcCommonUtils.<clinit>(CLDBRpcCommonUtils.java:63)
at org.apache.hadoop.conf.CoreDefaultProperties.<clinit>(CoreDefaultProperties.java:69)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:348)
at org.apache.hadoop.conf.Configuration.getClassByNameOrNull(Configuration.java:2147)
at org.apache.hadoop.conf.Configuration.getProperties(Configuration.java:2362)
at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:2579)
at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:2531)
at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:2444)
at org.apache.hadoop.conf.Configuration.set(Configuration.java:1156)
at org.apache.hadoop.conf.Configuration.set(Configuration.java:1128)
at org.apache.hadoop.conf.Configuration.setBoolean(Configuration.java:1464)
at org.apache.hadoop.util.GenericOptionsParser.processGeneralOptions(GenericOptionsParser.java:321)
at org.apache.hadoop.util.GenericOptionsParser.parseGeneralOptions(GenericOptionsParser.java:487)
at org.apache.hadoop.util.GenericOptionsParser.<init>(GenericOptionsParser.java:170)
at org.apache.hadoop.util.GenericOptionsParser.<init>(GenericOptionsParser.java:153)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:64)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
at org.apache.hadoop.fs.FsShell.main(FsShell.java:340)

我们使用 java 8 和 windows 7。

我被这个问题困扰了一段时间。我尝试了所有可能的选项，但没有成功。非常感谢任何帮助。

Answer 1

这些是步骤： 1. 安装 Mapr 应用程序

1. 配置 MapR 客户端 /opt/mapr/server/configure.sh -N poc2.cibdatahub.com -c -C (你的集群名)

2. 将缺失的 jar 从 MapR 集群节点上传到 Edge 节点下： /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/yarn/

3. 如果您没有本地 mapr 帐户，请创建一个：

            Example: useradd mapr
            Passwd mapr
   

4. 为用户映射器设置环境

   su mapr
   vi ~/.bashrc
    #append line below
   export HADOOP_HOME=/opt/mapr/hadoop/hadoop-2.7.0
   export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
   export LD_LIBRARY_PATH=$HADOOP_COMMON_LIB_NATIVE_DIR
   export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
   export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
   #HIVE home directory configuration
   export HIVE_HOME=/opt/mapr/hive/hive-2.1
   export PATH="$PATH:$HIVE_HOME/bin"
   export HADOOP_USER_NAME="USERname"
   

   #加载环境

   source ~/.bashrc
   

5. 通过添加编辑/opt/mapr/spark/spark-2.1.0/conf/spark-defaults.conf

    spark.yarn.archive                 maprfs:///apps/spark/jars/spark-jars.zip
   

6. 验证集群设置

   /opt/mapr/conf/mapr-clusters.conf 有选项secure=false

7. 测试

    hadoop fs -Dfs.mapr.trace -ls 
   

请尝试这些选项。