Spark 看不到 hive 外部表

Question

我是 Spark 和 AWS 的菜鸟。

我在 AWS 中有一个 DynamoDB 表。我使用 hive 在 EMR 上创建了一个 Spark 集群。 我使用 hive shell 创建了外部表“RawData”以连接到 DynamoDB。

现在，当我使用 DynamoDB 依赖 jars --jars /usr/share/aws/emr/ddb/lib/emr-ddb-hive.jar,/usr/share/aws/emr/ddb/lib/emr-ddb-hadoop.jar 启动 spark-shell 时 我可以使用 HiveContext 查询表“RawData” 并得到结果。 但是当我使用 spark-submit 提交我的 Spark 程序时，我在终端中看到一些 spark 异常，并且在我发现的日志中：“org.apache.spark.sql.AnalysisException: no such table RawData”。

这就是我创建集群的方式：aws emr create-cluster --name MyCluster --release-label emr-4.0.0 --applications Name=Spark Name=Hive ...

请指教我做错了什么。 列弗

Answer 1

我发现提交命令中缺少什么。 我必须添加--files /etc/hive/conf/hive-site.xml 作为 spark-submit 的参数之一。