对远程集群使用 Hive 查询的 Spark-SQL 命令行

Question

我正在尝试在命令行中针对远程 spark 集群运行 Spark-SQL（hive 查询）。但连接到 Spark 主服务器后，我收到“找不到表”。

这就是我从$SPARK_HOME/bin 尝试的：

./spark-sql --jars /.../calliope-hive-assembly-1.1.0-CTP-U2-2.jar \
    /../calliope-hive_2.10-1.1.0-CTP-U2.jar  --master spark://<<master_url>>:7277 \
    --executor-memory 1000M --total-executor-cores 2 " select count(*) *****"

这就是我得到的

查询错误：找不到表：

请帮忙

Answer 1

Hive 中是否存在该表。？如果是，请确保您提供用于 spark 的配置单元配置。 Spark 应该了解 Hive 元存储详细信息，以获取表的元数据。

请查看以下链接以了解集成。 http://spark.apache.org/docs/latest/sql-programming-guide.html#hive-tables

如果这已经处理好了，请告诉我。如果处理好，肯定还有其他问题。