IntelliJ 错误：发生 JNI 错误，请检查您的安装并重试

Question

我试图在 intellij 中运行一个项目，每次我运行一个特定的类时，我都会收到以下错误消息：

*Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/StreamingContext
    at java.lang.Class.getDeclaredMethods0(Native Method)
    at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
    at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
    at java.lang.Class.getMethod0(Class.java:3018)
    at java.lang.Class.getMethod(Class.java:1784)
    at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
    at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.streaming.StreamingContext
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)**

Answer 1

我长期面临同样的问题，我的代码在执行以下行时引发了同样的错误：

val ssc = new StreamingContext(sc, Seconds(10))

我的 POM.xml 看起来像这样：

<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming_2.11</artifactId>
      <version>2.3.4</version>
      <scope>provided</scope>
</dependency>

你看到那一行<scope>了吗？一旦我从我的 POM 文件中删除该行，代码就会回到正轨，成功执行。

所以请确保从dependency 中删除<scope>。

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming_2.11</artifactId>
        <version>2.3.4</version>
    </dependency>

Answer 2

您必须使用 spark 版本将 spark-streaming 依赖项添加到 SBT 中：

libraryDependencies += "org.apache.spark" %% "spark-streaming" % "你的 spark 版本"