Apache Hadoop 2.9.2 的YARN High Available 模式部署

　　　　　　　　　　　　Apache Hadoop 2.9.2 的YARN High Available 模式部署

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

 

 

 

一.环境准备

1>.官方文档（http://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html）

2>.实验环境

　　环境在上一篇博客基础之上，参考链接：https://www.cnblogs.com/yinzhengjie/p/10720586.html。 

 

二.修改核心配置

1>.修改yarn-site.xml

[root@node101.yinzhengjie.org.cn ~]# cat /yinzhengjie/softwares/hadoop-2.9.2/etc/hadoop/yarn-site.xml 
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!--启用resourcemanager ha-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
 
    <!--声明两台resourcemanager的地址-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yinzhengjie-yarn</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>resourcemanager1,resourcemanager2</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.resourcemanager1</name>
        <value>node101.yinzhengjie.org.cn</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.resourcemanager2</name>
        <value>node103.yinzhengjie.org.cn</value>
    </property>

    <property>
        <name>yarn.resourcemanager.webapp.address.resourcemanager1</name>
        <value>node101.yinzhengjie.org.cn:8088</value>
    </property>

   <property>
        <name>yarn.resourcemanager.webapp.address.resourcemanager2</name>
        <value>node103.yinzhengjie.org.cn:8088</value>
    </property>

    <!--指定zookeeper集群的地址--> 
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>node101.yinzhengjie.org.cn:2181,node102.yinzhengjie.org.cn:2181,node101.yinzhengjie.org.cn:2181</value>
    </property>

    <!--启用自动恢复--> 
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
 
    <!--指定resourcemanager的状态信息存储在zookeeper集群--> 
    <property>
        <name>yarn.resourcemanager.store.class</name>     
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

</configuration>
[root@node101.yinzhengjie.org.cn ~]# 
[root@node101.yinzhengjie.org.cn ~]# 

[root@node101.yinzhengjie.org.cn ~]# cat /yinzhengjie/softwares/hadoop-2.9.2/etc/hadoop/yarn-site.xml