如何在 IntelliJ IDE 中将 Spark 与 Scala 项目集成？答案

【问题标题】：How to integrate Spark with Scala project in IntelliJ IDE?如何在 IntelliJ IDE 中将 Spark 与 Scala 项目集成？
【发布时间】：2016-02-27 08:05:24
【问题描述】：

我正在使用 IntelliJ IDE 来玩 Scala 和 Spark。在这个 IDE 中，我使用 Scala 对象创建了一个 Scala 项目（见图）。

我使用了来自 web site 的示例回归代码。

我还以非 Maven 用户的身份从 GitHub 下载了 Spark Framework（如 here 所述）。

我的问题是如何将这个 Spark 框架与我的 Scala 项目联系起来？我是否还需要集成一些额外的库才能使用 Spark MLLib？

【问题讨论】：

标签： java scala intellij-idea apache-spark

【解决方案1】：

我建议在 build.sbt 中创建具有以下依赖项的 simple sbt project

libraryDependencies ++= Seq(   
  "org.apache.spark" %% "spark-core" % "1.5.1",
  "org.apache.spark" %% "spark-sql" % "1.5.1" )

然后打开它通过菜单开始从sbt导入项目。

当 IDEA 完成导入\下载\索引库时，您只需 ctrl-shift-D 和瞧 - 您有语法完美突出多行编辑和完成的 spark 控制台。

然后你可以创建目录/src/main/scala 如果它不存在。或者您可以让 IDEA 在选项中为您创建它：

接下来你应该在scala目录中创建新对象，选择“new scala class - object”：

接下来在对象的main 方法中编写一些代码，并通过ctrl-shift-F10 或上下文命令运行它

享受你的成果

【讨论】：

如何打开项目开始导入库？当我转到 File->Open 并打开项目时，IDEA 只是打开它而不导入任何东西。
@KlausosKlausos 你是否创建了一个空文件夹，里面只有build.sbt 文件，然后打开它？
抱歉，IDEA 似乎正在下载 Spark 库。我会等着检查你的最后一步（ctrl-shift-D）
那么，我需要将 Scala 对象放在哪里（对于简单的问题，我深表歉意。几小时前刚开始学习 Scala 和 Spark）。您能否添加一些屏幕截图来说明最后一步。
@AlbertoBonsanto 您可以使用this plugin。接下来，您可以通过 IDEA 将新的运行配置添加到 spark-submit ... 任务。