错误 SparkContext：初始化 SparkContext 时出错。 java.lang.RuntimeException：java.lang.NoSuchFieldException：DEFAULT_TINY_CACHE_SIZE答案

【问题标题】：ERROR SparkContext: Error initializing SparkContext. java.lang.RuntimeException: java.lang.NoSuchFieldException: DEFAULT_TINY_CACHE_SIZE错误 SparkContext：初始化 SparkContext 时出错。 java.lang.RuntimeException：java.lang.NoSuchFieldException：DEFAULT_TINY_CACHE_SIZE
【发布时间】：2022-01-25 00:34:13
【问题描述】：

我正在尝试运行 spark 作业，但出现以下错误。

21/12/24 15:40:43 ERROR SparkContext: Error initializing SparkContext.
java.lang.RuntimeException: java.lang.NoSuchFieldException: DEFAULT_TINY_CACHE_SIZE
    at org.apache.spark.network.util.NettyUtils.getPrivateStaticField(NettyUtils.java:131)
    at org.apache.spark.network.util.NettyUtils.createPooledByteBufAllocator(NettyUtils.java:118)
    at org.apache.spark.network.server.TransportServer.init(TransportServer.java:95)

这是正在使用的 netty 依赖项：

netty-3.7.0.Final.jar netty-all-4.0.43.Final.jar
netty-buffer-4.1.69.Final.jar netty-codec-4.1.69.Final.jar
netty-codec-http-4.1.69.Final.jar netty-codec-socks-4.1.60.Final.jar
netty-common-4.1.69.Final.jar netty-handler-4.1.69.Final.jar
netty-handler-proxy-4.1.60.Final.jar netty-resolver-4.1.69.Final.jar
netty-transport-4.1.69.Final.jar
netty-transport-native-epoll-4.1.69.Final.jar
netty-transport-native-epoll-4.1.60.Final-linux-x86_64.jar
netty-transport-native-kqueue-4.1.69.Final.jar
netty-transport-native-kqueue-4.1.60.Final-osx-x86_64.jar
netty-transport-native-unix-common-4.1.69.Final.jar

我也尝试过使用 netty-all 版本 4.0.43，但不知何故我得到了同样的错误。使用的火花版本：2.2.3 谁能帮我解释一下为什么会出现这个问题。

【问题讨论】：

看看这个 --> stackoverflow.com/a/37958371/5911696
我尝试添加 scala 2.11 以实现 spark 流 twitter 依赖，但我得到了同样的错误。

标签： java apache-spark netty

【解决方案1】：

确保对所有内容强制使用相同的 netty 版本。您在 Classpath 上有多个版本。只需使用 4.1.72.Final

【讨论】：