【发布时间】:2017-11-19 21:29:01
【问题描述】:
当我使用 HiveContext 将 hive 表存储在一个数据帧中,而使用 sqlcontext 将 DB2 表存储在另一个数据帧中时,在查询这两个数据帧时,它在检测到 hive 时没有检测到 Db2。可以使用的常用sqlcontext是什么?
【问题讨论】:
标签: apache-spark apache-spark-sql spark-dataframe hivecontext
当我使用 HiveContext 将 hive 表存储在一个数据帧中,而使用 sqlcontext 将 DB2 表存储在另一个数据帧中时,在查询这两个数据帧时,它在检测到 hive 时没有检测到 Db2。可以使用的常用sqlcontext是什么?
【问题讨论】:
标签: apache-spark apache-spark-sql spark-dataframe hivecontext
TL;DR对所有表使用相同的上下文。
如果您需要 Hive 支持,请使用带有 Hive 支持的 HiveContext 或 SparkSession。不要创建单独的会话来连接特定的DataSource。
【讨论】: