1.配置mapred-site.xml(默认没有mapred-site.xml文件,从mapred-site.xml.template文件复制一份,改名为mapred-site.xml就可以)

基于hadoop2.6.5搭建5个节点的分布式集群—(八)yarn配置

基于hadoop2.6.5搭建5个节点的分布式集群—(八)yarn配置


2.配置yarn-site.xml

基于hadoop2.6.5搭建5个节点的分布式集群—(八)yarn配置

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>
    <!-- 超时的周期 -->
    <property>
        <name>yarn.resourcemanager.connect.retry-interval.ms</name>
        <value>2000</value>
    </property>
    <!-- 打开高可用 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!-- 启动故障自动恢复 -->
    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>
        <value>true</value>
    </property>
    <!-- 给yarn cluster 取个名字yarn-rm-cluster -->    
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yarn-rm-cluster</value>
    </property>
    <!-- 给ResourceManager 取个名字 rm1,rm2 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <!-- 配置ResourceManager rm1 hostname -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop001</value>
    </property>
    <!-- 配置ResourceManager rm2 hostname -->
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop002</value>
    </property>
    <!-- 启用resourcemanager 自动恢复 -->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!-- 配置Zookeeper地址 -->
    <property>
        <name>yarn.resourcemanager.zk.state-store.address</name>
        <value>hadoop001:2181,hadoop002:2181,hadoop003:2181,hadoop004:2181,hadoop005:2181</value>
    </property>
    <!-- 配置Zookeeper地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop001:2181,hadoop002:2181,hadoop003:2181,hadoop004:2181,hadoop005:2181</value>
    </property>
    <!-- rm1端口号 -->
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>hadoop001:8032</value>
    </property>
    <!-- rm1调度器的端口号 -->
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>hadoop001:8034</value>
    </property>
    <!-- rm1 webapp端口号 -->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>hadoop001:8088</value>
    </property>
    <!-- rm2端口号 -->
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>hadoop002:8032</value>
    </property>
    <!-- rm2调度器的端口号 -->
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>hadoop002:8034</value>
    </property>
    <!-- rm2 webapp端口号 -->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>hadoop002:8088</value>
    </property>
    <!-- 执行MapReduce需要配置的shuffle过程 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>


3.向其他节点同步yarn配置(deploy.sh etc/ /usr/hadoop/app/hadoop/ all)

基于hadoop2.6.5搭建5个节点的分布式集群—(八)yarn配置

4.启动YARN

   在hadoop001节点上执行(sbin/start-yarn.sh)

基于hadoop2.6.5搭建5个节点的分布式集群—(八)yarn配置

   在hadoop002节点上面执行(sbin/yarn-daemon.sh start resourcemanager)

基于hadoop2.6.5搭建5个节点的分布式集群—(八)yarn配置

5.查看web页面
   访问hadoop001的web页面,如下
基于hadoop2.6.5搭建5个节点的分布式集群—(八)yarn配置
   访问hadoop002的web页面,如下
基于hadoop2.6.5搭建5个节点的分布式集群—(八)yarn配置
6.查看ResourceManager状态

基于hadoop2.6.5搭建5个节点的分布式集群—(八)yarn配置

 resourceManager的名字是yarn.resourcemanager.ha.rm-ids属性指定的

 如果上面执行没有异常,说明YARN安装成功

相关文章:

  • 2021-08-18
  • 2022-01-20
  • 2021-04-30
  • 2021-12-16
  • 2021-06-29
  • 2021-11-12
  • 2022-12-23
猜你喜欢
  • 2021-04-10
  • 2021-10-18
  • 2021-06-08
  • 2021-06-26
  • 2021-11-08
  • 2021-05-28
  • 2021-09-08
相关资源
相似解决方案