【问题标题】:Comparing 2 dataframes in spark when using hivecontext for 1 dataframe and sqlcontext for the other将 hivecontext 用于 1 个数据帧,将 sqlcontext 用于另一个数据帧时,比较 spark 中的 2 个数据帧
【发布时间】:2017-11-19 21:29:01
【问题描述】:

当我使用 HiveContext 将 hive 表存储在一个数据帧中,而使用 sqlcontext 将 DB2 表存储在另一个数据帧中时,在查询这两个数据帧时,它在检测到 hive 时没有检测到 Db2。可以使用的常用sqlcontext是什么?

【问题讨论】:

    标签: apache-spark apache-spark-sql spark-dataframe hivecontext


    【解决方案1】:

    TL;DR对所有表使用相同的上下文。

    如果您需要 Hive 支持,请使用带有 Hive 支持的 HiveContextSparkSession。不要创建单独的会话来连接特定的DataSource

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-02-26
      • 2021-12-14
      • 2018-01-15
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-01-24
      • 1970-01-01
      相关资源
      最近更新 更多