【发布时间】：2020-12-12 19:19:45
【问题描述】：
我将代码提交到集群运行，但遇到如下错误。
''' java.lang.IllegalArgumentException：框架太大：5211883372140375593 在 org.sparkproject.guava.base.Preconditions.checkArgument（Preconditions.java:119） 在 org.apache.spark.network.util.TransportFrameDecoder.decodeNext(TransportFrameDecoder.java:148)
'''
而我的提交命令是这样的
火花提交
--master spark://172.16.244.8:6066
--deploy-mode 集群
--num-executors 3
--executor-cores 8
--executor-memory 16g
--driver-memory 2g
--conf spark.default.parallelism=10
--class 并行计算
hdfs://172.16.244.5:9000/qlt/portrait-batch-0.0.1-jar-with-dependencies.jar
是什么原因
【问题讨论】：
-
当我尝试针对常规
7077端口（不是6066）使用REST 提交协议时遇到了异常。
标签： spark-submit