hadoop 集群的搭建:
首先上传解压:
gz包的解压:tar xf hadoop-2.6.5.tar.gz
hadoop文件下有bin目录和sbin目录,故在配置Hadoop的时候,需要在/etc/profile下分别配置$HADOOP_HOME/bin和$HADOOP_HOME/sbin
配置环境:
去Hadoop下etc下:
查看:
:! ls -l /usr/java
1.hadoop-env.sh下配置export java_home
export JAVA_HOME=/home/hadoop/jdk1.7.0_25
2.mapred-env.sh下配置export java_home
3.yarn-env.sh下配置export java_home
4.core-site.xml:配置namenode的节点
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
5.hdfs-site.xml
6.vi slaves 下配置DataNode的节点,主从模型
node02
node03
node04
hdfs中namenode:9000
hdfs是一个虚的东西,真正的是namenode
hdfs namenode -format:格式化
在一个公司里边不要轻易格式化
启动HDFS的命令:start-dfs.sh
8020:namenode的节点
50070:namenode的主节点的端口号
9000:
vi hdfs-site.xml