在 Jupyter 笔记本中导入 spark.implicits._

Question

为了在spark sql 中使用$"my_column" 结构，我们需要：

import spark.implicits._

但是，这在 jupyter 笔记本单元格中不起作用：结果是：

Name: Compile Error
Message: <console>:49: error: stable identifier required, but this.$line7$read.spark.implicits found.
       import spark.implicits._
                    ^

我过去曾见过 确实 工作的笔记本 - 但它们可能是 zeppelin.. 有没有办法为 jupyter 获得这个？

Answer 1

这是一个有效的技巧

val spark2: SparkSession = spark
import spark2.implicits._

所以现在spark2 引用显然是“稳定的”。