hive 寻找 jar 的 hdfs 私有目录答案

【问题标题】：hive looks for hdfs private directory for jarhive 寻找 jar 的 hdfs 私有目录
【发布时间】：2023-03-09 05:55:01
【问题描述】：

在 Hive 中添加 jar 是如何工作的？当我添加本地 jar 文件时，添加罐子/users/course/jars/json-serde-1.3.1.jar;

hive 查询失败，并说它在 hdfs 中找不到 jar，同一目录。作业提交失败，出现异常'java.io.FileNotFoundException(File does not exist: hdfs://localhost:9000/users/course/jars/json-serde-1.3.1.jar)

然后我将 jar 放入 hdfs，使用该 hdfs 文件路径添加 jar。添加罐子hdfs://localhost/users/course/jars/json-serde-1.3.1.jar;

现在，hive 查询说

File does not exist: hdfs://localhost:9000/private/var/folders/k5/bn104n8s72sdpg3tg7d8kkpc0000gn/T/a598a513-d7c9-4d55-9280-b6554487cac7_resources/json-serde-1.3.1.jar

我不知道为什么它一直在错误的地方寻找罐子。

【问题讨论】：

这里有同样的问题，除了我将 jar 上传到 hdfs 以及我用于创建表的文本文件。 Hue/Hive 在 OP 描述的private/var/.... 中查找两者。怎么回事？

标签： jar hive hdfs

【解决方案1】：

我相信 Hive 在本地而不是 HDFS 上查找 JAR。

所以如果我在网关服务器上的主目录是

pwd
/home/my_username/

JAR 位于本地：

/home/my_username/hive_udfs/awesomeness.jar

然后我会进入蜂巢外壳并运行：

add jar /home/my_username/awesomeness.jar

至少，这在我的环境中对我有用。 HTH。祝你好运！ :)

【讨论】：