【发布时间】:2021-12-02 13:25:38
【问题描述】:
如何在一个模块中使用 Apache spark 2.3 并在另一个模块中使用 Apache spark 2.4 来维护多模块依赖关系。项目层是什么以及 build.sbt 的样子。
【问题讨论】:
标签: scala apache-spark sbt
如何在一个模块中使用 Apache spark 2.3 并在另一个模块中使用 Apache spark 2.4 来维护多模块依赖关系。项目层是什么以及 build.sbt 的样子。
【问题讨论】:
标签: scala apache-spark sbt
您可以为每个模块指定不同的依赖关系。
假设你有模块 A 和模块 B,它看起来像这样:
lazy val moduleA = (project in file("moduleA"))
.settings(
name := "Module-A",
libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "2.3.0")
)
lazy val moduleB = (project in file("moduleB"))
.settings(
name := "Module-B",
libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "2.4.0")
)
official documentation不错,有几个例子
【讨论】: