EMR 上的 Alluxio + Hive

Question

我在 EMR 5.19.0 集群上安装了 Alluxio 1.8，并且可以使用 /usr/local/alluxio/bin/alluxio fs ls / 查看我的 S3 表。

但是，当我启动 hive 并发出 hive> [[DDL w/ LOCATION = alluxio://master_host:19998/my_table ]]]，我得到以下信息：

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:java.lang.RuntimeException: java.lang.ClassNotFoundException: Class alluxio.hadoop.FileSystem not found

有没有办法解决这个问题？我尝试使用--auxpath 指向/usr/local/alluxio/client/alluxio-1.8.1-client.jar 和hdfs 上的jar 副本来启动hive，但没有成功。

有什么帮助吗？

Answer 1

我发布了一个blog 谈论错误消息java.lang.ClassNotFoundException: Class alluxio.hadoop.FileSystem not found 的原因。以下是一些提示，希望对您有所帮助：

• 对于 Hive，在conf/hive-env.sh 中设置环境变量HIVE_AUX_JARS_PATH：

export HIVE_AUX_JARS_PATH=/<PATH_TO_ALLUXIO>/client/alluxio-1.8.1-client.jar:${HIVE_AUX_JARS_PATH}

我猜这相当于你设置--auxpath 所做的事情。

• 根据您的 Hive 设置（例如，MR 或 Spark 或 Tez 上的 Hive），您可能还需要确保运行时也能够访问客户端 jar。以 Hive on MR 为例，您可能还需要将 Alluxio 客户端 jar 的路径附加到 mapreduce.application.classpath 或 yarn.application.classpath 以确保 MR 作业的每个任务都可以访问此 jar。