使用 Spark 执行 Spring Boot 应用程序答案

【问题标题】：Executing Spring Boot Application using Spark使用 Spark 执行 Spring Boot 应用程序
【发布时间】：2018-07-01 22:01:18
【问题描述】：

我是 Apache Spark 的新手。我正在尝试使用 Spark 执行简单的 Spring Boot 应用程序，但出现异常。

ERROR ApplicationMaster: User class threw exception: 
java.lang.NoClassDefFoundError: org/springframework/boot/SpringApplication
java.lang.NoClassDefFoundError: org/springframework/boot/SpringApplication
Caused by: java.lang.ClassNotFoundException: org.springframework.boot.SpringApplication

但是，我能够从我的 Eclipse IDE 中完美地执行这个项目。它正在执行我保留的灵魂。

<parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>1.3.3.RELEASE</version>
    <relativePath/> <!-- lookup parent from repository -->
</parent>

<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <java.version>1.8</java.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter</artifactId>
    </dependency>

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>


    <dependency> <!-- Spark -->
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.10</artifactId>
        <version>1.4.0</version>
    </dependency>
    <dependency> <!-- Spark SQL -->
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.10</artifactId>
        <version>1.4.0</version>
    </dependency>
    <dependency> <!-- Spark SQL -->
        <groupId>com.fasterxml.jackson.module</groupId>
        <artifactId>jackson-module-scala_2.10</artifactId>
        <version>2.6.5</version>
    </dependency>
</dependencies>

<build>
    <plugins>
        <plugin>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-maven-plugin</artifactId>
        </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>2.3.2</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
            </configuration>
        </plugin>
    </plugins>
</build>

我的主要春季靴类是

@SpringBootApplication
public class SparkS3Application {

   public static void main(String[] args) {
       SpringApplication.run(SparkS3Application.class, args);
       System.out.println(" *************************** called *******************");
   }
}

【问题讨论】：

看看这里：github.com/Zhuinden/spring-spark-example，似乎有一个在 Spark 中执行 Spring Boot 应用程序的示例设置
hi@AlexSavitsky 我也尝试了该代码，但没有成功。
这个问题你解决了吗？
@SrinivasValekar 是的，我能够解决这个问题。

标签： spring apache-spark spring-boot

【解决方案1】：

我只使用 --jars "jar path,another jar path" 在我的 spark 提交命令中添加了所需的依赖项。您需要提供所有 jar 逗号分隔后 --罐子。

第二件事是尝试在 spark 2.0 中执行此操作，我使用的是 park 1.6，我遇到了问题，但它在 spark 2.0 中运行良好。

希望这对你们有帮助..

【讨论】：

或者你可以将jar添加到spark中的jars文件夹中