如何在 spring-boot 多模块 Java 11 项目中添加 Spark 依赖项

Question

每当我在我的多模块项目中添加 module-info.java 时，我都无法导入我的 Spark 依赖项 - 其他一切似乎都在工作

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>3.0.0-preview2</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.12</artifactId>
    <version>3.0.0-preview2</version>
</dependency>

IntelliJ 尝试读取 Maven 依赖项但没有任何结果。

我的模块信息如下所示：

module common {
    exports [...] 
    requires lombok;
    requires spring.data.jpa;
    requires spring.data.commons;
    requires org.apache.commons.lang3;
    requires spring.context;
    requires spring.web;
    requires spring.security.core;
    requires com.google.common;
    requires org.json;
    requires spring.core;
    requires spring.beans;
    requires com.fasterxml.jackson.core;
    requires com.fasterxml.jackson.databind;
    requires spring.jcl;
    requires spring.webmvc;
    requires mongo.java.driver;
    requires org.hibernate.orm.core;
    requires com.fasterxml.jackson.dataformat.csv;
    requires java.sql;
}

也不可能在我的 module-info.java 中添加 org.apache.*。

Spark 是否可能还没有为 Jigsaw 模块和 Java 9+ 做好准备？

Answer 1

spark 是否可能还没有为 Jigsaw 模块和 Java 9+ 准备好？

它确实适用于spark。我可以保证的两个直接原因是：

1. 他们没有条目

   Automatic-Module-Name: <module-name> 
   

   在工件的 MANIFEST.MF 文件中。

2. 如果您尝试使用jar 工具描述他们的工件

   jar --describe-module --file=<complete-path>/spark-core_2.12-3.0.0-preview2.jar
   

   由于this answer. 中提到的类似原因，这将无法派生模块描述符

---

到达这里后可能有用的资源很少：

• The reason why deriving automatic module name fails for spark artifacts
• A way to update a jar manually with the MANIFEST entry
• Spark's progress to Build and Run on JDK-11