array(2) { ["docs"]=> array(10) { [0]=> array(10) { ["id"]=> string(3) "428" ["text"]=> string(77) "Visual Studio 2017 单独启动MSDN帮助（Microsoft Help Viewer）的方法" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(8) "DonetRen" ["tagsname"]=> string(55) "Visual Studio 2017|MSDN帮助|C#程序|.NET|Help Viewer" ["tagsid"]=> string(23) "[401,402,403,"300",404]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400964" ["_id"]=> string(3) "428" } [1]=> array(10) { ["id"]=> string(3) "427" ["text"]=> string(42) "npm -v；报错 cannot find module "wrapp"" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(4) "zzty" ["tagsname"]=> string(50) "node.js|npm|cannot find module "wrapp“|node" ["tagsid"]=> string(19) "[398,"239",399,400]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400760" ["_id"]=> string(3) "427" } [2]=> array(10) { ["id"]=> string(3) "426" ["text"]=> string(54) "说说css中pt、px、em、rem都扮演了什么角色" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(12) "zhengqiaoyin" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400640" ["_id"]=> string(3) "426" } [3]=> array(10) { ["id"]=> string(3) "425" ["text"]=> string(83) "深入学习JS执行--创建执行上下文（变量对象，作用域链，this）" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "Ry-yuan" ["tagsname"]=> string(33) "Javascript|Javascript执行过程" ["tagsid"]=> string(13) "["169","191"]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511399901" ["_id"]=> string(3) "425" } [4]=> array(10) { ["id"]=> string(3) "424" ["text"]=> string(30) "C# 排序技术研究与对比" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(9) "vveiliang" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(8) ".Net Dev" ["catesid"]=> string(5) "[199]" ["createtime"]=> string(10) "1511399150" ["_id"]=> string(3) "424" } [5]=> array(10) { ["id"]=> string(3) "423" ["text"]=> string(72) "【算法】小白的算法笔记：快速排序算法的编码和优化" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(9) "penghuwan" ["tagsname"]=> string(6) "算法" ["tagsid"]=> string(7) "["344"]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511398109" ["_id"]=> string(3) "423" } [6]=> array(10) { ["id"]=> string(3) "422" ["text"]=> string(64) "JavaScript数据可视化编程学习（二）Flotr2，雷达图" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "chengxs" ["tagsname"]=> string(28) "数据可视化|前端学习" ["tagsid"]=> string(9) "[396,397]" ["catesname"]=> string(18) "前端基本知识" ["catesid"]=> string(5) "[198]" ["createtime"]=> string(10) "1511397800" ["_id"]=> string(3) "422" } [7]=> array(10) { ["id"]=> string(3) "421" ["text"]=> string(36) "C#表达式目录树（Expression）" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(4) "wwym" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(4) ".NET" ["catesid"]=> string(7) "["119"]" ["createtime"]=> string(10) "1511397474" ["_id"]=> string(3) "421" } [8]=> array(10) { ["id"]=> string(3) "420" ["text"]=> string(47) "数据结构 队列_队列实例：事件处理" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "idreamo" ["tagsname"]=> string(40) "C语言|数据结构|队列|事件处理" ["tagsid"]=> string(23) "["246","247","248",395]" ["catesname"]=> string(12) "数据结构" ["catesid"]=> string(7) "["133"]" ["createtime"]=> string(10) "1511397279" ["_id"]=> string(3) "420" } [9]=> array(10) { ["id"]=> string(3) "419" ["text"]=> string(47) "久等了,博客园官方Android客户端发布" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(3) "cmt" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511396549" ["_id"]=> string(3) "419" } } ["count"]=> int(200) } 222 史上最详细的Hadoop环境搭建(五)之二 - 爱码网

史上最详细的Hadoop环境搭建(五)之二

5、 配置hdfs-site.xml

    

  1. 

    

    <configuration>
    

    2. 

  2. 

    

    <property>
    

    3. 

  3. 

    

    <!—配置三台NameNode –>
    

    4. 

  4. 

    

        <name>dfs.nameservices</name>

    

    5. 

  5. 

    

        <value>ns1,ns2,ns3</value>

    

    6. 

  6. 

    

      </property>

    

    7. 

  7. 

    

      <property>

    

    8. 

  8. 

    

    <!—第一台NameNode的机器名和rpc端口，指定了NameNode和DataNode通讯用的端口号 –>
    

    9. 

  9. 

    

        <name>dfs.namenode.rpc-address.ns1</name>

    

    10. 

  10. 

    

        <value>bigdata-senior01.chybinmy.com:8020</value>

    

    11. 

  11. 

    

      </property>

    

    12. 

  12. 

    

       <property>

    

    13. 

  13. 

    

    <!—第一台NameNode的机器名和rpc端口，备用端口号 –>
    

    14. 

  14. 

    

        <name>dfs.namenode.serviceerpc-address.ns1</name>

    

    15. 

  15. 

    

        <value>bigdata-senior01.chybinmy.com:8022</value>

    

    16. 

  16. 

    

      </property>

    

    17. 

  17. 

    

      <property>

    

    18. 

  18. 

    

    <
    !—第一台NameNode的http页面地址和端口号 –>
    

    19. 

  19. 

    

        <name>dfs.namenode.http-address.ns1</name>

    

    20. 

  20. 

    

        <value>bigdata-senior01.chybinmy.com:50070</value>

    

    21. 

  21. 

    

      </property>

    

    22. 

  22. 

    

    <property>
    

    23. 

  23. 

    

    <!—第一台NameNode的https页面地址和端口号 –>
    

    24. 

  24. 

    

        <name>dfs.namenode.https-address.ns1</name>

    

    25. 

  25. 

    

        <value>bigdata-senior01.chybinmy.com:50470</value>

    

    26. 

  26. 

    

      </property>

    

    27. 

  27. 

    

     
    

    28. 

  28. 

    

      <property>

    

    29. 

  29. 

    

        <name>dfs.namenode.rpc-address.ns2</name>

    

    30. 

  30. 

    

        <value>bigdata-senior02.chybinmy.com:8020</value>

    

    31. 

  31. 

    

      </property>

    

    32. 

  32. 

    

       <property>

    

    33. 

  33. 

    

        <name>dfs.namenode.serviceerpc-address.ns2</name>

    

    34. 

  34. 

    

        <value>bigdata-senior02.chybinmy.com:8022</value>

    

    35. 

  35. 

    

      </property>

    

    36. 

  36. 

    

      <property>

    

    37. 

  37. 

    

        <name>dfs.namenode.http-address.ns2</name>

    

    38. 

  38. 

    

        <value>bigdata-senior02.chybinmy.com:50070</value>

    

    39. 

  39. 

    

      </property>

    

    40. 

  40. 

    

        <property>

    

    41. 

  41. 

    

        <name>dfs.namenode.https-address.ns2</name>

    

    42. 

  42. 

    

        <value>bigdata-senior02.chybinmy.com:50470</value>

    

    43. 

  43. 

    

      </property>

    

    44. 

  44. 

    

     
    

    45. 

  45. 

    

     
    

    46. 

  46. 

    

      <property>

    

    47. 

  47. 

    

        <name>dfs.namenode.rpc-address.ns3</name>

    

    48. 

  48. 

    

        <value>bigdata-senior03.chybinmy.com:8020</value>

    

    49. 

  49. 

    

      </property>

    

    50. 

  50. 

    

       <property>

    

    51. 

  51. 

    

        <name>dfs.namenode.serviceerpc-address.ns3</name>

    

    52. 

  52. 

    

        <value>bigdata-senior03.chybinmy.com:8022</value>

    

    53. 

  53. 

    

      </property>

    

    54. 

  54. 

    

      <property>

    

    55. 

  55. 

    

        <name>dfs.namenode.http-address.ns3</name>

    

    56. 

  56. 

    

        <value>bigdata-senior03.chybinmy.com:50070</value>

    

    57. 

  57. 

    

      </property>

    

    58. 

  58. 

    

        <property>

    

    59. 

  59. 

    

        <name>dfs.namenode.https-address.ns3</name>

    

    60. 

  60. 

    

        <value>bigdata-senior03.chybinmy.com:50470</value>

    

    61. 

  61. 

    

      </property>

    

    62. 

  62. 

    

     
    

    63. 

  63. 

    

    </configuration>
    

    64.

6、 配置core-site.xml

    

  1. 

    

    <configuration>
    

    2. 

  2. 

    

    <property>
    

    3. 

  3. 

    

        <name>hadoop.tmp.dir</name>

    

    4. 

  4. 

    

        <value>/opt/modules/hadoopha/hadoop-2.5.0/data/tmp</value>

    

    5. 

  5. 

    

    </property>
    

    6. 

  6. 

    

    </configuration>
    

    7.

hadoop.tmp.dir设置hadoop临时目录地址，默认时，NameNode和DataNode的数据存在这个路径下。

7、 配置slaves文件

    

  1. 

    

    bigdata-senior01.chybinmy.com
    

    2. 

  2. 

    

    bigdata-senior02.chybinmy.com
    

    3. 

  3. 

    

    bigdata-senior03.chybinmy.com
    

    4.

8、 配置yarn-site.xml

    

  1. 

    

    <configuration>
    

    2. 

  2. 

    

    <property>
    

    3. 

  3. 

    

        <name>yarn.nodemanager.aux-services</name>

    

    4. 

  4. 

    

        <value>mapreduce_shuffle</value>

    

    5. 

  5. 

    

     </property>     
    

    6. 

  6. 

    

     <property>

    

    7. 

  7. 

    

        <name>yarn.resourcemanager.hostname</name>

    

    8. 

  8. 

    

        <value>bigdata-senior02.chybinmy.com</value>

    

    9. 

  9. 

    

     </property>     
    

    10. 

  10. 

    

     <property>

    

    11. 

  11. 

    

        <name>yarn.log-aggregation-enable</name>

    

    12. 

  12. 

    

        <value>true</value>

    

    13. 

  13. 

    

     </property>     
    

    14. 

  14. 

    

     <property>

    

    15. 

  15. 

    

        <name>yarn.log-aggregation.retain-seconds</name>

    

    16. 

  16. 

    

        <value>106800</value>

    

    17. 

  17. 

    

     </property>     
    

    18. 

  18. 

    

    </configuration>
    

    19.

9、 分发到其他节点

分发之前先将share/doc目录删除，这个目录中是帮助文件，并且很大，可以删除。

    

  1. 

    

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/ /opt/modules/hadoopfederation bigdata-senior02.chybinmy.com:/opt/modules
    

    2. 

  2. 

    

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/hadoopfederation bigdata-senior03.chybinmy.com:/opt/modules
    

    3.

10、 格式化NameNode

在第一台上进行NameNode格式化。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId

这里一定要指定一个集群ID，使得多个NameNode的集群ID是一样的，因为这三个NameNode在同一个集群中，这里集群ID为hadoop-federation-clusterId。

在第二台NameNode上。

[hadoop@bigdata-senior02 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId

在第二台NameNode上。

[hadoop@bigdata-senior03 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId

11、 启动NameNode

在第一台、第二台、第三台机器上启动NameNode：

    

  1. 

    

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
    

    2. 

  2. 

    

    [hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
    

    3. 

  3. 

    

    [hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
    

    4.

启动后，用jps命令查看是否已经启动成功。

查看HDFS Web页面，此时三个NameNode都是standby状态。

史上最详细的Hadoop环境搭建(五)之二

史上最详细的Hadoop环境搭建(五)之二

史上最详细的Hadoop环境搭建(五)之二

12、 启动DataNode

    

  1. 

    

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start datanode
    

    2. 

  2. 

    

    [hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start datanode
    

    3. 

  3. 

    

    [hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start datanode
    

    4.

启动后，用jps命令确认DataNode进程已经启动成功。

四十九、测试HDFS Federation

1、 修改core-site.xml

在bigdata-senior01机器上,修改core-site.xml文件，指定连接的NameNode是第一台NameNode。

[[email protected] hadoop-2.5.0]$ vim etc/hadoop/core-site.xml

    

  1. 

    

    <configuration>
    

    2. 

  2. 

    

      <property>

    

    3. 

  3. 

    

         <name>fs.defaultFS</name>

    

    4. 

  4. 

    

         <value>hdfs://bigdata-senior01.chybinmy.com:8020</value>

    

    5. 

  5. 

    

      </property>

    

    6. 

  6. 

    

    <property>
    

    7. 

  7. 

    

        <name>hadoop.tmp.dir</name>

    

    8. 

  8. 

    

        <value>/opt/modules/hadoopfederation/hadoop-2.5.0/data/tmp</value>

    

    9. 

  9. 

    

    </property>
    

    10. 

  10. 

    

    </configuration>
    

    11.

2、 在bigdate-senior01上传一个文件到HDFS

    

  1. 

    

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /tmp
    

    2. 

  2. 

    

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put ~/shuffle_daily.sh /tmp/shuffle_daily.sh
    

    3.

3、 查看HDFS文件

史上最详细的Hadoop环境搭建(五)之二

可以看到，刚才的文件只上传到了bigdate-senior01机器上的NameNode上了，并没有上传到其他的NameNode上去。

这样，在HDFS的客户端，可以指定要上传到哪个NameNode上，从而来达到了划分NameNode的目的。

后记

这篇文章的操作步骤并不是工作中标准的操作流程，如果在成百上千的机器全部这样安装会被累死，希望读者可以通过文章中一步步地安装，从而初步了解到Hadoop的组成部分，协助过程等，这对于Hadoop的深入使用有很大的帮助。

相关文章：

猜你喜欢
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode