【问题标题】:How to enable hive support for spark in notebook?如何在笔记本中启用 Hive 对 Spark 的支持?
【发布时间】:2018-09-16 07:18:15
【问题描述】:

默认情况下,我得到预定义的火花会话对象(火花)。哪个未启用配置单元。如何获得启用 hive 的 Spark 会话?

【问题讨论】:

    标签: apache-toree


    【解决方案1】:

    我知道我回答你的这个问题迟到了。但我希望它对正在研究它的人有用。

    如果 spark-defaults 文件没有设置 catalogImplementation 属性,则 Toree SQL 中的默认值将是本地元存储目录 (Derby)。您需要在集群中的 spark-defaults.conf 文件中将此配置显式设置为 Hive,如下所示:

    set spark.sql.catalogImplementation=hive
    

    保存此文件中的更改后重新启动内核。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-04-07
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多