【问题标题】:I have coded a spark job to run on local mode but when I submit that job I run it on yarn cluster mode. What exactly happens in this case?我编写了一个火花作业以在本地模式下运行,但是当我提交该作业时,我在纱线集群模式下运行它。在这种情况下究竟会发生什么?
【发布时间】:2016-09-08 06:45:44
【问题描述】:

我看到状态是 ACCEPTED。它不会更改为 RUNNING 状态。超时后失败。我附上了一张完全一样的图片。在工作中,我一直在 Cassandra 表中保存一些数据。该作业不会进入 RUNNING 状态,但是该表正在更新,直到作业没有超时。我无法理解幕后到底发生了什么。

【问题讨论】:

  • 那里有一个错误信息。你试过修复你的NullPointerException吗?

标签: apache-spark machine-learning bigdata


【解决方案1】:

尝试以本地主机身份运行应用程序

spark-submit --master local[2] application

也许您的默认配置将在纱线集群上运行应用程序。由于纱线集群没有初始化,它给出了 NullpointException。

【讨论】:

    猜你喜欢
    • 2018-02-02
    • 2018-09-15
    • 1970-01-01
    • 1970-01-01
    • 2019-06-24
    • 2023-04-08
    • 2018-02-19
    • 2016-04-09
    • 1970-01-01
    相关资源
    最近更新 更多