无法在 IntelliJ 14 中构建 Spark答案

【问题标题】：Cannot build Spark in IntelliJ 14无法在 IntelliJ 14 中构建 Spark
【发布时间】：2015-03-10 07:04:46
【问题描述】：

我按照Spark Wiki here 中给出的步骤在 IntelliJ 中设置 Spark 项目（github master 分支）。

默认情况下，启用的配置文件是 maven-3 和 scala-2.10。

由于我遇到错误value q is not a member of StringContext，我补充说：

"Additional Compiler Options"-Xplugin:/home/test/.m2/repository/org/scalamacros/paradise_2.10.4/2.0.1/paradise_2.10.4-2.0.1.jar"

当我尝试重建项目时，我收到以下错误（在邮件列表here 中报告）：

Error:(169, 38) not found: value HiveShim 
...
Error:(255, 18) not found: type HiveFunctionWrapper 
...
/home/test/workspace/spark_source/spark->1.2.0/sql/hive/src/main/scala/org/apache/spark/sql/hive/parquet/FakeParquetSerD>e.scala Warning:(34, 2) @deprecated now takes two arguments; see the scaladoc. @deprecated("No code should depend on FakeParquetHiveSerDe as it is only intended as a " +

我没有启用 hive 配置文件，但仍然收到上述错误。

谁能提供一步一步的指令（spark wiki 中给出的那些除外）来构建 Spark 并从 IntelliJ IDE 运行示例？

【问题讨论】：

Intellij 对 spark 的支持是一个偶然的事情：我记得在 spark 1.2 和 1.3 中看到过这些问题。每个新版本通常都有新的损坏类型 - 以及新的修复。从长远来看（几年），它正在改善。由于 Spark 1.5 通常 intellij 构建实际上“正常工作”。

标签： maven intellij-idea apache-spark

【解决方案1】：

按照 wiki 页面，您几乎完成了 IntelliJ IDE 设置中的所有步骤。

对于“未找到 HiveShim”问题，此文件由 spark-hive 和 sql/hive-thriftserver 使用。您可以尝试：
1、点击IntelliJ maven项目选项卡中的“为所有项目生成源和更新文件夹”；
2、点击左侧窗格中“packages”下的spark-hive，然后进入“Open Module Settings”——然后显式添加v0.12.0/src/main/scala 导航到源文件夹，然后单击以添加它作为一个来源。

【讨论】：