【问题标题】:spark-submit: application master can not talk back to driverspark-submit:应用程序主无法与驱动程序对话
【发布时间】:2014-09-10 05:27:19
【问题描述】:

我在 YARN 集群模式下使用 spark-submit 向 Cloudera 集群提交了一个 spark 作业。

我得到以下异常:

org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:187)
Caused by: org.jboss.netty.channel.ChannelException: Failed to bind to: /myip:0
    at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272).

有谁知道为什么application master不能绑定驱动IP?

【问题讨论】:

    标签: cloudera apache-spark hadoop-yarn


    【解决方案1】:

    我找到了!

    删除

    .set("spark.driver.host", "驱动电脑ip地址")

    来自您的驱动程序代码。

    还发布在 spark-submit to cloudera cluster can not find any dependent jars

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-12-24
      • 1970-01-01
      • 2019-11-03
      • 2019-10-10
      • 1970-01-01
      相关资源
      最近更新 更多