hadoop环境搭建和基本测试

一、环境准备：

1.准备环境

centos 、jdk7（配置环境变量尽量在root/.bashrc，如果配置在/etc/profile或者/root/.bashrc_profile,必须在启动hadoop的时候

需要修改headoop-env.sh添加JAVA_HOME环境变量.,）、其他依赖环境如gcc

2.解压hadoop-2.6.0.tar.gz到usr（我习惯解压到usr下）

3.关闭防火墙（为了做测试用，关闭防火墙）

4.做本机的免密码登录（一定做密码登录，不然Hadoop集群受影响）

生成公私钥对 ssh-****** -t dsa -P '' -f /root/.ssh/id_dsa

添加信任 cat .ssh/id_dsa.pub >> .ssh/authorized_keys

测试 ssh ip

5.配置本机主机名在 /etc/hosts配置主机名

192.168.23.20 yecy

映射IP 在 etc/sysconfig/network

HOSTNAME=yecy

6.配置Hadoop:

①/usr/hadoop-2.6.0/etc/hadoop/core-site.xml

<name>fs.defaultFS</name>

</property>

②/usr/hadoop-2.6.0/etc/hadoop/hdfs-site.xml

<name>dfs.replication</name>

</property>

③/usr/hadoop-2.6.0/etc/hadoop/slaves

将localhost修改为主机名

7.格式化hadoop的namenode 只需要在第一次搭建hadoop集群的时候执行

./bin/hdfs namenode -format

作用:是生成namenode所需的fsimage镜像文件默认/tmp/hadoop-用户名

8.启动、关闭Hadoop

./sbin/start-dfs.sh ./sbin/stop-dfs.sh

9.启动成功三个线程 jps 或者地址栏 IP：50070

2333 NameNode
2586 SecondaryNameNode
2426 DataNode

问题：

如果以上是Centos32位没什么事，如果是64位，需要在Hadoop安装目录的lib和lib/native添加64位lib包下载地址http://dl.bintray.com/sequenceiq/sequenceiq-bin/

（1.） tar -xvf hadoop-native-64-2.7.0.tar -C hadoop-2.7.2/lib/native

tar -xvf hadoop-native-64-2.7.0.tar -C hadoop-2.7.2/lib

（2.）改变环境变量

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

（3.）环境变量生效

二、基本测试

1.配置Hadoop环境变量：HADOOP_HOME F:\hadoop-2.6.0

2.方便本地开发，需要在IDE工具中引入Hadoop的jar包是common和hdfsj的ar包，分别在解压后的F:\hadoop-2.6.0下的share下Hadoop里边，

3.添加完成自定义jar包后，开始基本的测试，有创建文件夹，删除，上传、下载。可以查看Hadoop官网，

我做一个创建，和上传

创建并判断是否存在

上传

下载只是API不一样，请自行测试，

接下来的篇章会继续Hadoop入门篇章字符统计和求城市温度最大以及联合订单查询！