重复数据删除：发现 SBT 和 Scala 的不同文件内容错误

Question

我正在尝试通过 SBT 构建一个 JAR 文件，我的驱动程序脚本位于 Scala 中。但是，当我运行“sbt 程序集”时，我收到了大量的：

deduplicate: different file contents found in the following:

显示该消息的整个目录列表太大，无法在此处发布，因此我附上了一个屏幕截图，您可以在下面查看。我的构建文件包含以下内容：

libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "2.0.0" % "provided", "org.apache.spark" %% "spark-mllib" % "2.0.0")

我尝试了 Onilton Maciel 向this question 提供的解决方案，但无济于事。我也对如何实现 Martin Senne 提供的解决方案感到困惑，因为 Assembly 插件的“设置”部分的设置说明不清楚如何实现他的代码 sn-p。任何帮助，将不胜感激。谢谢

Answer 1

因为组装插件的“设置”部分的设置说明不清楚如何实现他的代码 sn-p。

这意味着你应该在build.sbt或根目录sbt文件中添加合并策略。

sbt-assembly 官方文档中有一个示例，并根据您的冲突更新它：

import sbtassembly.MergeStrategy
assemblyMergeStrategy in assembly := {
  case PathList("org", "apache", "hadoop", "yarn", "factories", "package-info.class")         => MergeStrategy.discard
  case PathList("org", "apache", "hadoop", "yarn", "provider", "package-info.class")         => MergeStrategy.discard
  case PathList("org", "apache", "hadoop", "util", "provider", "package-info.class")         => MergeStrategy.discard
  case PathList("org", "apache", "spark", "unused", "UnusedStubClass.class")         => MergeStrategy.first
}

希望对你有帮助。