【问题标题】:Spark on cluster: I would like to know the meaning of the following error and possible causes:Spark on cluster:我想知道以下错误的含义和可能的原因:
【发布时间】:2015-06-22 07:52:48
【问题描述】:

我有以下错误/警告:

1) WARN AkkaRpcEndpointRef:错误发送消息 [message = Heartbeat(2,[Lscala.Tuple2;@58149ee3,BlockManagerId(2, 192.168.0.171, 49714))] 1 次尝试 java.util.concurrent.TimeoutException: Futures 在 [120 秒] 后超时

2) 错误 CoarseGrainedExecutorBackend:驱动程序 192.168.0.131:41837 已解除关联!正在关机。

我在由 4 台机器组成的集群中运行 Spark (v. 1.4.0) 应用程序,其中驱动程序的工作人员内存较少(4 GB)(每个 8 Gb)。驱动程序是否可能由于其工作量而产生错误?

【问题讨论】:

标签: apache-spark akka timeoutexception


【解决方案1】:

驱动程序无法响应执行程序,因为它在计算过程中处于压力之下。 只需将 mroe RAM 添加到驱动程序即可解决问题。

【讨论】:

    猜你喜欢
    • 2022-11-01
    • 2015-03-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2010-12-11
    相关资源
    最近更新 更多