由于之前已经搭建好的集群中master职务过于多,会造成效率降低,故将NameNode、SecondaryNameNode、和ResourceManager 分开部署到三个节点上。

master slaver1 slaver2 slaver3 slaver4 slalver5
HDFS NameNode
DateNode
SecondaryNameNode
DateNode
DateNode DateNode DateNode DateNode
YARN NodeManager NodeManager ResourceManager NodeManager NodeManager NodeManager NodeManager

修改hdfs-site.xml文件,将图中master改为slaver1

    vim hdfs-site.xml

集群部署重新规划

配置Yarn

vim yarn-env.sh

添加JAVA_HOME

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_181

集群部署重新规划

配置yarn-site.xml

vim yarn-site.xml

将ResourceManager 的主机名都改为slaver2
集群部署重新规划

配置 vim mapred-env.sh

vim mapred-env.sh

集群部署重新规划

同步分发配置

 xsync.sh hdfs-site.xml
xsync.sh yarn-env.sh
xsync.sh yarn-site.xml
xsync.sh mapred-env.sh

启动集群
集群部署重新规划

启动了hdfs,接下来启动yarn,因为ResourceManager在slaver2上,所以,启动时必须在slaver2上启动yarn
集群部署重新规划

相关文章:

  • 2021-07-04
  • 2021-06-09
  • 2022-12-23
  • 2022-01-17
  • 2022-12-23
  • 2021-05-31
  • 2022-02-13
  • 2021-09-19
猜你喜欢
  • 2021-12-04
  • 2022-12-23
  • 2021-06-29
  • 2021-08-07
  • 2021-10-08
  • 2022-12-23
  • 2022-12-23
相关资源
相似解决方案