Scala Spark Shell 中不会自动创建 Spark 上下文

Question

我读过一本 Spark 书：

驱动程序通过一个 SparkContext 对象访问 Spark，该对象代表一个 连接到计算集群。在 shell 中，会自动为您创建一个 SparkContext 作为名为 sc 的变量。尝试打印 sc 以查看其类型

sc

当我输入 sc 时，它给了我一个错误 20 value sc not found。知道为什么 sc 没有在我的 scala spark shell 中自动创建吗？

我尝试手动创建一个 sc，但它给了我一个错误，说 JVM 中已经有一个 spark 上下文。请看图：

http://s30.photobucket.com/user/kctestingeas1/media/No%20Spark%20Context.jpg.html

我相信我已经在 scala spark shell 中，你可以在我的 cmd 窗口顶部看到指示 bin\spark-shell

请指教。谢谢

Answer 1

希望您找到问题的答案，因为我也遇到了同样的问题。

同时，请使用此解决方法。在 scala spark shell 中，输入：

1. 导入 org.apache.spark.SparkContext
2. val sc = SparkContext.getOrCreate()

然后您就可以访问 sc。