【发布时间】:2018-09-16 07:18:15
【问题描述】:
默认情况下,我得到预定义的火花会话对象(火花)。哪个未启用配置单元。如何获得启用 hive 的 Spark 会话?
【问题讨论】:
标签: apache-toree
默认情况下,我得到预定义的火花会话对象(火花)。哪个未启用配置单元。如何获得启用 hive 的 Spark 会话?
【问题讨论】:
标签: apache-toree
我知道我回答你的这个问题迟到了。但我希望它对正在研究它的人有用。
如果 spark-defaults 文件没有设置 catalogImplementation 属性,则 Toree SQL 中的默认值将是本地元存储目录 (Derby)。您需要在集群中的 spark-defaults.conf 文件中将此配置显式设置为 Hive,如下所示:
set spark.sql.catalogImplementation=hive
保存此文件中的更改后重新启动内核。
【讨论】: