【问题标题】:Can't connect to resource manager from IDEA无法从 IDEA 连接到资源管理器
【发布时间】:2016-10-31 13:40:56
【问题描述】:

我在从 IDEA Intellij 以 yarn-client 模式提交作业时遇到连接问题。

我确实设置了环境变量并通过打印出来仔细检查了它:

System.setProperty("YARN_CONF_DIR",  "D:\\HadoopDev\\UserClick\\src\\main\\resources\\hadoop-vm");

System.setProperty("HADOOP_CONF_DIR", "D:\\HadoopDev\\UserClick\\src\\main\\resources\\hadoop-vm");

但我仍然收到错误消息告诉我:

INFO - 在 /0.0.0.0:8032 连接到 ResourceManager 信息 - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已尝试 0 >time(s);重试策略是 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, >sleepTime=1 SECONDS) 信息 - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已尝试 1 》>time(s);重试策略是 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, >sleepTime=1 SECONDS) 信息 - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已尝试 2 >time(s);重试策略为 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, >sleepTime=1 SECONDS)

所有与hadoop相关的配置文件都在文件夹中。我尝试上传jar并在集群中以yarn-client模式提交它,结果它工作了。

有什么帮助吗?谢谢~

【问题讨论】:

    标签: hadoop intellij-idea apache-spark hadoop-yarn


    【解决方案1】:
    set .config("spark.hadoop.yarn.resourcemanager.address", "hadoop:8032")  
    

    执行覆盖技巧。

    【讨论】:

    • 您好,请将您的答案格式化为更易于理解,并在代码中添加一些解释。
    猜你喜欢
    • 1970-01-01
    • 2014-11-04
    • 2019-11-21
    • 2014-07-16
    • 2014-01-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多