如何解决 SparkR 中的“sql(sqlContext...)' is deprecated”警告

Question

我正在使用 SparkR 构建一些旧代码的新版本。在这样的块上

hiveContext <- sparkRHive.init(sc)
hive_db = 'our_database'
db <- sql(hiveContext, paste0("use ", hive_db))

有人告诉我'sparkRHive.init' is deprecated. Use 'sparkR.session' instead. 所以，好吧，好吧，我现在有：

hiveContext <- sparkR.session(sc) 
hive_db = 'our_database'
db <- sql(hiveContext, paste0("use ", hive_db))

这会运行，但现在 Spark 警告 'sql(sqlContext...)' is deprecated. Use 'sql(sqlQuery)' instead. 我不知道它在这里期待什么样的输入并希望解决这个问题。有人知道在这里做什么吗？

Answer 1

由于 Spark 2.0 sql 和其他功能的数量（如 createDataFrame）不需要 SQLContext 实例。只是：

sql(paste0("use ", hive_db))

这将在内部使用getSparkSession 来检索会话对象。