【问题标题】:issues with spark master webUI and eventLogspark master webUI 和 eventLog 的问题
【发布时间】:2015-06-05 21:56:32
【问题描述】:

我们使用 spark 1.1.0 运行 ec2 集群(6x m1.xlarge),一切正常,昨天我启动了一个新集群(相同规格)但使用 spark 1.3.1 我遇到了 eventLog.enabled 真实属性的问题 遇到与https://issues.apache.org/jira/browse/SPARK-6950 相同的行为。即使作业已经完成,webUI 历史也无法构建它们并显示它们正在进行中。我检查了一下,*.inprogress 文件仍然存在。 我在 JIRA 中阅读了错误报告,它说 6950 已在 1.3.1 中修复,但我每次运行的作业都会收到此错误,并且我看到其他人有相同问题的评论(6 天前)。有什么想法吗?

【问题讨论】:

  • 点击issues.apache.org/jira/browse/SPARK-6107。或许。 SPARK-6950 被标记为不可重现
  • 6950 它与 6107 不同,在 6107 中,他们说它应该在 1.4.0 中修复,但它是关于手动停止的作业,在 6950 中(以及我遇到的问题)是每个我运行的单个作业,无论它是停止还是成功完成都没有关系

标签: apache-spark bigdata


【解决方案1】:

在 spark 1.3.1 上也发生在我身上

【讨论】:

    猜你喜欢
    • 2023-03-10
    • 2013-04-15
    • 1970-01-01
    • 1970-01-01
    • 2010-11-18
    • 2017-02-17
    • 2013-07-29
    • 2017-03-12
    • 1970-01-01
    相关资源
    最近更新 更多