• 所有的内容都来源与 Hadoop 官方文档

一、Hadoop 伪分布式安装步骤

 1)JDK安装

  • 解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app
  • 添加到系统环境变量
  1. ~/.bash_profile
  2. export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
  3. export PATH=$TAVA_HOME/bin:$PATH
  • 环境变量生效:source ~/bash_profile
  • 验证Java是否配置成功:java -v

 

 2)ssh安装

 

 

二、HDFS伪分布式环境搭建

 1)下载并解压hadoop

  • 下载:cdh网站下载
  • 解压:tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app

 

 2)修改 Hadoop 配置文件

  • 在 hadoop_home/etc/hadoop 目录下修改
  • 配置 hadoop-env.sh 文件

  1. 配置:export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79

 

  • 配置 cor-site.xml 及 hdfs-site.xml 文件

  • cor-site.xml 中,默认的数据存放在临时文件夹,需要添加新的属性(hadoop.tmp.dir),可以指定存放的文件夹(如存放在文件夹 /home/hadoop/app 中),防止数据在每次重启系统时被删除;
  • Hadoop:JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作

 

  • 配置 slaves 文件:用于添加素有 DataNode 的名字;

 

 3)启动 hdfs

  • 格式化文件系统(在客户端操作,且仅第一次执行即可,不要重复执行):hdfs namenode -format,或者 hadoop namenode -format
  • 启动 hdfs:(sbin 目录下)sbin/start-dfs.sh
  • 验证是否启动成功:
  1. Hadoop:JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作
  2. 3 个进程,如果缺少,说明缺少的部分配置不成功;(可通过日志输出查看进程的启动过程)
  • 浏览器访问方式:http://localhost:50070

 

 4)停止 hdfs

  • (在 sbin 目录下)sbin/stop-dfs.sh

 

 

三、HDFS 的shell 操作

  • hdfs dfs + commands 或者 hadoop fs + commands

  • 用法与 Linux 命令相同

  • Hadoop:JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作

 

  •  例:

  1. hadoop fs -put hello.txt:将文件 hello.txt 从本地传到 HDFS 上;
  2. hadoop fs -get hello.txt:从 HDFS 上获取文件 hello.txt 到本地;
  3. hadoop fs -text /hello.txt:查看文件 hello.txt 的内容;
  4. hadoop fs -mkdir /test:在 HDFS 上创建一个目录 test;
  5. hadoop fs -mkdir -p /test/a/b:在 HDFS 上创建递归文件夹;
  6. hadoop fs -rm /hello.txt:删除一个文件;(-rm 不能删除文件夹,只能删除文件)
  7. hadoop fs -rm -R /test:删除文件夹 test 及其下所有递归文件;
  8. hadoop fs -ls -R:查看递归文件夹;
  • Hadoop:JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作

 

分类:

技术点:

相关文章:

相关资源