获取 java.io.FileNotFoundException: File does not exist: hive-exec-2.1.0.jar 错误，同时尝试为 Apache Kylin 中的示例数据构建多维数据集答案

【问题标题】：Getting java.io.FileNotFoundException: File does not exist: hive-exec-2.1.0.jar error while trying to build cubes for Sample data in Apache Kylin获取 java.io.FileNotFoundException: File does not exist: hive-exec-2.1.0.jar 错误，同时尝试为 Apache Kylin 中的示例数据构建多维数据集
【发布时间】：2016-12-08 05:08:01
【问题描述】：

我使用以下技术安装了 Apache kylin：-

Apache Hadoop: - 2.7.3 
Apache Hive: - 2.1.0
Apache Hbase:- 1.2.4
Apache Kylin: - 1.6

我可以使用随设置提供的sample.sh 文件在 Apache Kylin 中加载数据。但是，当我尝试在某个时间范围内构建多维数据集时，在“构建多维数据集”过程的第 3 步中出现以下错误

File does not exist: 
hdfs://localhost:54310/app/hadoop/tmp/mapred/staging/hduser341814501/.staging/job_local341814501_0007/libjars/hive-exec-2.1.0.jar

其中hduser是启动kylin并尝试构建立方体的用户。

我检查了目录结构，发现app/hadoop/tmp/mapred/staging/hduser341814501/.staging folder 中没有目录或文件。

kylin 是否尝试创建此目录结构并将hive-exec-2.1.0.jar 放入该目录结构中，但由于某些权限问题而无法这样做？

还是因为其他错误？

虽然，kylin 正在寻找的 jar 存在于 hdfs://localhost:54310/usr/local//hivr/lib folder 中。麒麟是否也有可能在错误的位置寻找罐子？

谁能帮我解决我做错了什么？

【问题讨论】：

你的 $HIVE_CONF 路径中有什么？

标签： java hadoop hive hbase kylin

【解决方案1】：

Kylin 会从 classpath 中寻找 hive jars，然后在提交 MR 作业时使用“tmpjars”属性指定它。请检查您的环境：

1) 运行 $KYLIN_HOME/bin/find-hive-dependency.sh，检查输出；

2) 在$KYLIN_HOME/logs/kylin.log中搜索“Hive Dependencies After Filtered”，应该会记录提交给Hadoop作业的依赖jar，比如：

logs/kylin.log.2017-03-07:2017-03-07 11:58:18,772 INFO  [pool-6-thread-16] common.AbstractHadoopJob:203 : Hive Dependencies After Filtered: /usr/hdp/2.5.4.0-121/hive/lib/hive-metastore-1.2.1000.2.5.4.0-121.jar,/usr/hdp/2.5.4.0-121/hive/lib/hive-exec-1.2.1000.2.5.4.0-121.jar,/usr/hdp/2.5.4.0-121/hive-hcatalog/share/hcatalog/hive-hcatalog-core-1.2.1000.2.5.4.0-121.jar

还要检查 jars 是否存在于 Kylin 运行的机器上。

【讨论】：

【解决方案2】：

我猜你是在一个独立的主机上运行 Kylin，你还部署了你的 hadoop & hive & hbase？如果是这样，您是否启动了纱线和历史服务器？在启动 Kylin 之前尝试 cd 到 $HADOOP_HOME 并运行 ./sbin/start-yarn.sh 和 ./sbin/mr-jobhistory-daemon.sh start historyserver。

【讨论】：