【发布时间】:2015-06-05 21:56:32
【问题描述】:
我们使用 spark 1.1.0 运行 ec2 集群(6x m1.xlarge),一切正常,昨天我启动了一个新集群(相同规格)但使用 spark 1.3.1 我遇到了 eventLog.enabled 真实属性的问题 遇到与https://issues.apache.org/jira/browse/SPARK-6950 相同的行为。即使作业已经完成,webUI 历史也无法构建它们并显示它们正在进行中。我检查了一下,*.inprogress 文件仍然存在。 我在 JIRA 中阅读了错误报告,它说 6950 已在 1.3.1 中修复,但我每次运行的作业都会收到此错误,并且我看到其他人有相同问题的评论(6 天前)。有什么想法吗?
【问题讨论】:
-
点击issues.apache.org/jira/browse/SPARK-6107。或许。 SPARK-6950 被标记为不可重现
-
6950 它与 6107 不同,在 6107 中,他们说它应该在 1.4.0 中修复,但它是关于手动停止的作业,在 6950 中(以及我遇到的问题)是每个我运行的单个作业,无论它是停止还是成功完成都没有关系
标签: apache-spark bigdata