前言

大数据是一个很热门的方向,在处理大数据时,常使用分布式计算来实现功能。那么就是Hadoop和Spark了。本文仅探讨环境搭建。

正文

互联网上有很多的环境搭建教程,合理利用即能实现自己的需求。那么,找到合适的文章,并复现搭建过程,便是一项技能。我便分享下我搭建的笔记吧。


网上教程很多,总结得很详细,按照相关教程完成环境搭建。
原文链接:Hadoop环境搭建

本地环境:win 10 + vmware 14.1.1 + ubuntu 16.04 + jdk 8 + hadoop 3.0.0
在虚拟机完成配置后,创建快照,再打包备份,以便以后使用,节省配置环境时间。

打开hadoop: ./sbin/start-dfs.sh
关闭hadoop: ./sbin/stop-dfs.sh

打开YARN
./sbin/start-yarn.sh
./sbin/mr-jobhistory-daemon.sh start historyserver
关闭 YARN 的脚本:
./sbin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver
在打开YARN时,历史服务器报错,能打开yarn,不知道有什么影响。
Hadoop环境搭建
Hadoop环境搭建

补充知识:

  1. vim使用
    http://www.runoob.com/linux/linux-vim.html
    在配置java环境变量时会用到vim,在该博客中。

总结:

  1. 配置hadoop,linux基本知识一定要会,在执行一些命令时,又复习了下linux的系统文件目录和vim的使用。
  2. 为刚配置完hadoop的ubuntu虚拟机做了快照,以便失误后恢复
  3. 接下来应该学习些demo,进行代码编写。

相关文章: