【发布时间】:2016-10-31 13:40:56
【问题描述】:
我在从 IDEA Intellij 以 yarn-client 模式提交作业时遇到连接问题。
我确实设置了环境变量并通过打印出来仔细检查了它:
System.setProperty("YARN_CONF_DIR", "D:\\HadoopDev\\UserClick\\src\\main\\resources\\hadoop-vm");
System.setProperty("HADOOP_CONF_DIR", "D:\\HadoopDev\\UserClick\\src\\main\\resources\\hadoop-vm");
但我仍然收到错误消息告诉我:
INFO - 在 /0.0.0.0:8032 连接到 ResourceManager 信息 - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已尝试 0 >time(s);重试策略是 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, >sleepTime=1 SECONDS) 信息 - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已尝试 1 》>time(s);重试策略是 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, >sleepTime=1 SECONDS) 信息 - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已尝试 2 >time(s);重试策略为 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, >sleepTime=1 SECONDS)
所有与hadoop相关的配置文件都在文件夹中。我尝试上传jar并在集群中以yarn-client模式提交它,结果它工作了。
有什么帮助吗?谢谢~
【问题讨论】:
标签: hadoop intellij-idea apache-spark hadoop-yarn