array(2) { ["docs"]=> array(10) { [0]=> array(10) { ["id"]=> string(3) "428" ["text"]=> string(77) "Visual Studio 2017 单独启动MSDN帮助（Microsoft Help Viewer）的方法" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(8) "DonetRen" ["tagsname"]=> string(55) "Visual Studio 2017|MSDN帮助|C#程序|.NET|Help Viewer" ["tagsid"]=> string(23) "[401,402,403,"300",404]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400964" ["_id"]=> string(3) "428" } [1]=> array(10) { ["id"]=> string(3) "427" ["text"]=> string(42) "npm -v；报错 cannot find module "wrapp"" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(4) "zzty" ["tagsname"]=> string(50) "node.js|npm|cannot find module "wrapp“|node" ["tagsid"]=> string(19) "[398,"239",399,400]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400760" ["_id"]=> string(3) "427" } [2]=> array(10) { ["id"]=> string(3) "426" ["text"]=> string(54) "说说css中pt、px、em、rem都扮演了什么角色" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(12) "zhengqiaoyin" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400640" ["_id"]=> string(3) "426" } [3]=> array(10) { ["id"]=> string(3) "425" ["text"]=> string(83) "深入学习JS执行--创建执行上下文（变量对象，作用域链，this）" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "Ry-yuan" ["tagsname"]=> string(33) "Javascript|Javascript执行过程" ["tagsid"]=> string(13) "["169","191"]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511399901" ["_id"]=> string(3) "425" } [4]=> array(10) { ["id"]=> string(3) "424" ["text"]=> string(30) "C# 排序技术研究与对比" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(9) "vveiliang" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(8) ".Net Dev" ["catesid"]=> string(5) "[199]" ["createtime"]=> string(10) "1511399150" ["_id"]=> string(3) "424" } [5]=> array(10) { ["id"]=> string(3) "423" ["text"]=> string(72) "【算法】小白的算法笔记：快速排序算法的编码和优化" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(9) "penghuwan" ["tagsname"]=> string(6) "算法" ["tagsid"]=> string(7) "["344"]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511398109" ["_id"]=> string(3) "423" } [6]=> array(10) { ["id"]=> string(3) "422" ["text"]=> string(64) "JavaScript数据可视化编程学习（二）Flotr2，雷达图" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "chengxs" ["tagsname"]=> string(28) "数据可视化|前端学习" ["tagsid"]=> string(9) "[396,397]" ["catesname"]=> string(18) "前端基本知识" ["catesid"]=> string(5) "[198]" ["createtime"]=> string(10) "1511397800" ["_id"]=> string(3) "422" } [7]=> array(10) { ["id"]=> string(3) "421" ["text"]=> string(36) "C#表达式目录树（Expression）" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(4) "wwym" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(4) ".NET" ["catesid"]=> string(7) "["119"]" ["createtime"]=> string(10) "1511397474" ["_id"]=> string(3) "421" } [8]=> array(10) { ["id"]=> string(3) "420" ["text"]=> string(47) "数据结构 队列_队列实例：事件处理" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "idreamo" ["tagsname"]=> string(40) "C语言|数据结构|队列|事件处理" ["tagsid"]=> string(23) "["246","247","248",395]" ["catesname"]=> string(12) "数据结构" ["catesid"]=> string(7) "["133"]" ["createtime"]=> string(10) "1511397279" ["_id"]=> string(3) "420" } [9]=> array(10) { ["id"]=> string(3) "419" ["text"]=> string(47) "久等了,博客园官方Android客户端发布" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(3) "cmt" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511396549" ["_id"]=> string(3) "419" } } ["count"]=> int(200) } 222 Hadoop集群搭建-Hadoop2.8.0安装(三) - 爱码网

Hadoop集群搭建-Hadoop2.8.0安装(三)

一、准备安装介质

a)、hadoop-2.8.0.tar

b)、jdk-7u71-linux-x64.tar

 

二、节点部署图

 Hadoop集群搭建-Hadoop2.8.0安装(三)

 

三、安装步骤

 环境介绍：

主服务器ip：192.168.80.128(master)  NameNode  SecondaryNameNode ResourceManager

从服务器ip：192.168.80.129(slave1)  DataNode NodeManager

从服务器ip: 192.168.80.130(slave2)  DataNode NodeManager

 

1、在三台机器上配置服务器域名

192.168.80.128 master
192.168.80.129 slave1
192.168.80.130 slave2

 

2、注意:关闭防火墙

systemctl stop firewalld.service #停止

firewall systemctl disable firewalld.service  #禁止firewall开机启动

firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

 

3.上传安装包

1）JDK安装包 jdk-7u71-linux-x64.tar.gz

2）hadoop安装包 hadoop-2.8.0.tar.gz

 

4.安装JDK

1)解压JDK tar -zxvf jdk-7u71-linux-x64.tar.gz

 

5)配置环境变量 vi /etc/profile

 

6)在文件最后加入JDK配置

JAVA_HOME=/home/hadoop/jdk1.7.0_71

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:

$JAVA_HOME/lib/tools.jar

export JAVA_HOME

export PATH

export CLASSPATH

 

7）退出当前用户，重新登录，检查JDK安装是否成功 java -version

 

8)按照以上操作，重复安装其他两台机器

 

9、安装Hadoop

1）解压Hadoop tar -zxvf hadoop-2.8.0.tar.gz

 

2)配置环境变量 vi /etc/profile

 

export HADOOP_HOME=/home/hadoop/hadoop-2.8.0

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

4)退出当前用户，重新登录，检查Hadoop安装是否成功 hadoop version

 

5)进入/home/hadoop/hadoop-2.8.0/etc/hadoop目录

 

6)打开hadoop-2.8.0/etc/hadoop/hadoop-env.sh文件

export JAVA_HOME=/home/hadoop/jdk1.7.0_71

 

10)配置hadoop-2.8.0/etc/hadoop/slaves文件，增加slave主机名

slave1

slave2

 

11)配置hadoop-2.8.0/etc/hadoop/core-site.xml

<configuration>

<property>

　　<name>fs.defaultFS</name> 

　　<value>hdfs://master:9000</value>

</property> 

<!-- Size of read/write buffer used in SequenceFiles. -->

<property>

　　<name>io.file.buffer.size</name>

　　<value>131072</value>

</property> 

<!-- 指定hadoop临时目录,自行创建 -->

<property>

　　<name>hadoop.tmp.dir</name>

　　<value>/home/chenyun/hadoop/tmp</value>

</property>

</configuration>

 

12)配置hadoop-2.8.0/etc/hadoop/hdfs-site.xml

<configuration>

<property>

　　<name>dfs.namenode.secondary.http-address</name>

　　<value>master:50090</value>

</property>

<property>

　　<name>dfs.replication</name>

      <value>2</value>

</property>

<!-- 指定namenode数据存放临时目录,自行创建 -->

<property>

　　<name>dfs.namenode.name.dir</name>

　　<value>file:/home/chenyun/hadoop/hdfs/name</value>

</property>

<!-- 指定datanode数据存放临时目录,自行创建 -->

<property>

　　<name>dfs.datanode.data.dir</name>

　　<value>file:/home/chenyun/hadoop/hdfs/data</value>

</property>

</configuration>

 

13)配置hadoop-2.8.0/etc/hadoop/yarn-site.xml <configuration>

<!-- Site specific YARN configuration properties -->

<!-- Configurations for ResourceManager -->

<property>

　　<name>yarn.nodemanager.aux-services</name>

　　<value>mapreduce_shuffle</value>

</property>

<property>

　　<name>yarn.resourcemanager.address</name>

　　<value>master:8032</value>

</property>     

<property>          

<name>yarn.resourcemanager.scheduler.address</name>    

       <value>master:8030</value>      

</property>     

<property>         

　　<name>yarn.resourcemanager.resource-tracker.address</name>         

　　<value>master:8031</value>     

</property>     

<property>         

　　<name>yarn.resourcemanager.admin.address</name>         

　　<value>master:8033</value>     

</property>     

<property>         

　　<name>yarn.resourcemanager.webapp.address</name>         

　　<value>master:8088</value>     

</property>

</configuration>

 

14)配置hadoop-2.8.0/etc/hadoop/mapred-site.xml

注意： 因为默认没有mapred-site.xml，所以先要复制一份，shell命令如下：

cp mapred-site.xml.template mapred-site.xml

 

然后在mapred-site.xml加入以下配置

<configuration>  

<property>    

　　<name>mapreduce.framework.name</name>    

　　<value>yarn</value>  

</property>

</configuration>

15)把配置好的文件，复制到从节点

scp -r hadoop root@slave1:/home/hadoop/hadoop-2.8.0/etc

scp -r hadoop root@slave2:/home/hadoop/hadoop-2.8.0/etc

 

注意:同时需要把文件夹也要给拷贝过去

scp -r hadoop root@slave1:/home/chenyun/

scp -r hadoop root@slave2:/home/chenyun/

 

16)格式化节点

cd hadoop-2.8.0/sbin

hdfs namenode -format

 

17)hadoop集群全部启动

cd hadoop-2.8.0/sbin

./start-all.sh

 

18)启动JobHistoryServer  备注(查看MapReduce历史执行记录，和hadoop关系不大，可忽略此步骤)

cd hadoop-2.8.0/sbin

./mr-jobhistory-daemon.sh   start historyserver

 

19)查看启动进程是否正常

在master节点输入 jps命令，将会显示以下进程：

3458 Jps
3150 SecondaryNameNode
2939 NameNode
3364 ResourceManager

 

在slave1、slave2上输入jps命名，将会显示以下进程：

2969 NodeManager
3191 Jps
2801 DataNode

 

如果进程不正常的话，进入hadoop-2.8.0/logs查看异常日志

master节点

1、hadoop-2.8.0/logs/hadoop-root-namenode-master.log    #namenode日志

2、hadoop-root-secondarynamenode-master.log                 #SecondaryNameNode日志

3、yarn-root-resourcemanager-master.log                          #ResourceManager日志

 

slave1、slave2节日

4、hadoop-root-datanode-slave1.log                                  #DataNode日志

5、yarn-root-nodemanager-slave1.log                                #NodeManager日志

 

20）通过web UI访问

hadoop http://192.168.80.128:50070  #整个集群

http://192.168.80.128:50090  #SecondaryNameNode的情况

http://192.168.80.128:8088   #resourcemanager的情况

http://192.168.80.128:19888  #historyserver(MapReduce历史运行情况)

 

注意：

如果master节点一直没有namenode进程的话，集群可以分开启动

1）启动namenode：sbin/hadoop-daemon.sh start namenode

2）sbin/hadoop-daemon.sh start datanode

 

相关文章：

猜你喜欢
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode