从 sbt 程序集运行 uber jar 会导致错误：无法找到或加载主类

Question

我有一个使用 sbt 程序集插件打包为 uber-jar 的 spark 作业。 build.sbt 指定一个可运行的 main 作为生成的 uber-jar 的目标

mainClass in assembly := Some("com.foo.Bar")

正确创建程序集后，运行预期的命令：

java -jar assembly.jar

结果

错误：无法找到或加载主类 com.foo.Bar

使用另一种方法，如java -cp assembly.jar com.foo.Bar 会给出相同的错误消息。

然后，我将 uber-jar 的内容提取到一个新目录中。我可以看到我的com/foo/ 目录和Bar.class 文件。 从我尝试的提取目录的根目录：

java -cp . com.foo.Bar

我得到了正确的结果。

进一步尝试查找错误原因，我尝试了：

java -verbose -jar assembly.jar

我可以看到正在加载的 java 核心类，但我没有看到任何正在加载的打包类。

这里可能有什么问题？

Answer 1

经过广泛调查（阅读：拔毛），事实证明，这种行为是流氓 INDEX.LIST 来自一个扁平 jar 文件的结果，该文件降落在生成的 uber-jar 的 META-INF 目录中.

在JAR file spec 之后，INDEX.LIST（如果存在）指示要加载 Jar 文件中的哪些包。

为避免这种情况，我们更新了mergeStrategy 规则以避免对生成的META-INF 目录造成任何污染：

case PathList("META-INF", xs @ _*) => MergeStrategy.discard

这解决了问题并恢复了我的理智。

---

更新：

经过一些额外的搜索，事实证明default merge strategy 妥善处理了INDEX.LIST。当自定义合并策略包含处理 META-INF pathSpec 的案例时，此答案适用