Hadoop 伪分布式 搭建配置详解

个人技能手册:https://github.com/DevilMafia/personal-skill-tree

环境:

虚拟机:VMware® Workstation 14 Pro

本机系统:windows 10

虚拟机系统:CentOS_6.6

JDK:1.8

Hadoop:2.7.4

第一步、配置 JDK

声明:过程忽略解压等步骤,只是对主要步骤进行讲解

1.1 卸载CentOS 默认安装的 JDK

CentOS_6.6 本身默认安装了 java 环境。可以通过以下方式查看 默认安装的 java 环境:

Hadoop 伪分布式 搭建配置详解

卸载 默认 java 环境:

Hadoop 伪分布式 搭建配置详解

1.2 配置 自定义 JDK

jdk 解压目录路径:/opt/modules/jdk1.8.0_161               同志们你们随意!

配置方式分为两种:

一、针对该Linux系统上所有用户生效     配置文件位置:/etc/profile

二、针对当前登录用户生效       配置文件位置:~/.bash_profile

本次搭建采用第一种。配置如下:

Hadoop 伪分布式 搭建配置详解

退出保存。执行:source /etc/profile      令配置立即生效,如下图:

Hadoop 伪分布式 搭建配置详解

 

第二步、配置网络环境

网络连接方式:桥接模式

具体 VMware 配置 CentOS_6.6 桥接模式 详解可以参考本人博客:

http://blog.csdn.net/davis_dxs/article/details/79116881

 

第三步、SSH无密码验证配置

由于此次搭建是 伪分布式。所以ssh相对简单一点。

并且 CentOS_6.6 已经安装了ssh 相关的组件应用,不需要我们自己安装。如下图:

Hadoop 伪分布式 搭建配置详解

3.1 生成 私钥 、公钥

Hadoop 伪分布式 搭建配置详解

3.2 把公钥 追加到 authorized_keys

Hadoop 伪分布式 搭建配置详解

3.3 修改 authorized_keys 文件权限

Hadoop 伪分布式 搭建配置详解

 

第四步、Hadoop 配置

声明:

hadoop 的解压目录:/home/hadoop1/hadoop-2.7.4

所需要修改的配置文件位置:  /home/hadoop1/hadoop-2.7.4/etc/hadoop

如下图所示:

Hadoop 伪分布式 搭建配置详解

4.1 环境变量 添加 HADOOP_INSTALL

为什么?  :把hadoop安装路径添加到 path 方便执行指令。道理与java配置一些。

作用:可以在该用户目录下任何地方 启动 hadoop

配置文件:~/.bash_profile

配置如下:

Hadoop 伪分布式 搭建配置详解

保存退出,执行: source ~/.bash_profile      令配置立即生效。效果如下图:

Hadoop 伪分布式 搭建配置详解

4.2 Hadoop 添加 JAVA_HOME

因为 hadoop 启动需要java环境。但是 默认的配置不是识别,所以我们需要修改。

配置文件:/home/hadoop1/hadoop-2.7.4/etc/hadoop   目录下的      hadoop-env.sh

配置如下:

Hadoop 伪分布式 搭建配置详解

4.3 配置  core_site.xml

 

配置文件:/home/hadoop1/hadoop-2.7.4/etc/hadoop   目录下的      core-site.xml

配置如下:

Hadoop 伪分布式 搭建配置详解

 

4.4 配置 hdfs-site.xml

 

 

配置文件:/home/hadoop1/hadoop-2.7.4/etc/hadoop   目录下的      hdfs-site.xml

配置如下:

Hadoop 伪分布式 搭建配置详解

 

4.5 配置 mapred-site.xml

 

 

注意:mapred-site.xml   默认是没有的。  hadoop 只提供了 一个名为  mapred-site.xml.template 的模板

需要大家自己拷贝 重命名为  mapred-site.xml

命令:cp ./mapred-site.xml.template ./mapred-site.xml

配置文件:/home/hadoop1/hadoop-2.7.4/etc/hadoop   目录下的      mapred-site.xml

配置如下:

Hadoop 伪分布式 搭建配置详解

 

4.6 配置 yarn-site.xml

 

 

配置文件:/home/hadoop1/hadoop-2.7.4/etc/hadoop   目录下的      yarn-site.xml

配置如下:

Hadoop 伪分布式 搭建配置详解

 

 

 

4.7 添加 hadoop 配置路径

 

配置文件:/home/hadoop1/hadoop-2.7.4/etc/hadoop   目录下的      hadoop-env.sh

修改项: export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}   把路径改为绝对路径

就是当前路径 /home/hadoop1/hadoop-2.7.4/etc/hadoop

配置如下:

 

Hadoop 伪分布式 搭建配置详解

 

 

4.8 格式化 文件系统

执行:hadoop namenode -format

执行之后 效果如下图所示表示格式化成功:

Hadoop 伪分布式 搭建配置详解

 

启动 Hadoop

最好重启一下系统再去启动hadoop!

如下图所示:

Hadoop 伪分布式 搭建配置详解

 

谢谢大家观看!

 

 

 

分类:

技术点:

相关文章: