火花上下文无法在 Intellij 的 MLUtils.loadLibSVMFile 中恢复

【问题标题】：spark context cannot reslove in MLUtils.loadLibSVMFile with Intellij火花上下文无法在 Intellij 的 MLUtils.loadLibSVMFile 中恢复
【发布时间】：2016-03-01 14:09:45
【问题描述】：

我尝试在这里运行多层感知器分类器示例：https://spark.apache.org/docs/1.5.2/ml-ann.html，它似乎在 spark-shell 上运行良好，但不适用于 Intellij 和 Eclipse 等 IDE。问题来自 val data = MLUtils.loadLibSVMFile(sc, "data/mllib/sample_multiclass_classification_data.txt").toDF()

IDE 提示cannot resolve symbol sc(sparkcontext)，但库路径已正确配置。如果有人可以帮助我，谢谢！

【问题讨论】：

您是否导入了正确的库？

标签： eclipse scala intellij-idea apache-spark apache-spark-mllib

【解决方案1】：

其实默认没有sc这样的值。它是在 spark-shell 启动时导入的。在任何序数 scala\java\python 代码中，您都应该手动创建它。

我最近制作了very low quality answer。您可以使用关于sbt 的部分以及其中的库。

接下来你可以使用类似下面的代码作为模板来开始。

import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkContext, SparkConf}

object Spark extends App {
  val config = new SparkConf().setAppName("odo").setMaster("local[2]").set("spark.driver.host", "localhost")
  val sc = new SparkContext(config)
  val sqlc = new SQLContext(cs)

  import sqlc.implicits._

 //here you code follows
}

接下来你可以CtrlShiftF10它

【讨论】：

谢谢兄弟！您的回复对我很有帮助，我正在查看您的链接。很高兴向你学习。