我们绝大多数都习惯在Eclipse或MyEclipse中做Java开发,本次随笔我就教大家如何搭建一个基于MyEclipse IDE的Hadoop开发环境。

闲话少说,走起!

 

 

 

 

第一步 安装MyEclipse的Hadoop插件

1 打开MyEclipse,查看是否已经安装过

window  ->  preferences 

搭建基于MyEclipse的Hadoop开发环境

没有显示Hadoop Map/Reduce,则说明MyEclipse是没有安装过Hadoop的插件

首先,确认你本地的Windows上已经安装JDK和Eclipse或者MyEclipse,并能开发java程序。

 

 

2、下载Eclipse的Hadoop插件hadoop-eclipse-plugin-2.2.0 

将下载下来的jar文件放入安装的MyEclipse 10\dropins目录下,然后重启MyEclipse。

搭建基于MyEclipse的Hadoop开发环境

放进去

搭建基于MyEclipse的Hadoop开发环境

 

重启后,会出现下面的这个界面,即弹出Drop-in Changes Detected检测,点击ok即可,

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

即,出现了Hadoop Map/Reduce,说明在MyEclipse里安装Hadoop插件成功。

 

 

第二步 本地的Hadoop安装

1、hadoop-2.2.0-x64.rar的下载

首先,明确了本地的JDK是64位版本,所以需要下载对应位的hadoop运行包。其实,也是为了与CentOS6.5里的hadoop运行包和jdk对应一致。

 

2 、解压下载的文件包,存放在你希望的某个目录下,比如:D:\Software\hadoop-2.2.0

重启MyEclipse,菜单的Windows   ->   Preferences 中

会多出一个 Hadoop Map/Reduce的项。点击这一项,右侧选择你的Hadoop存放目录 (D:\Software\hadoop-2.2.0)

解压前,

搭建基于MyEclipse的Hadoop开发环境

解压后,

 

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

 

 

3、配置环境变量

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

新建环境变量HADOOP_HOME,变量值为D:\Software\hadoop-2.2.0

搭建基于MyEclipse的Hadoop开发环境

修改Path变量,添加:

;D:\Software\hadoop-2.2.0\bin   注意分号

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

 

 

4、添加Map/Reduce Location

将Eclipse/MyEclipse切换到Map/Reduce视图,

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

底部操作区会出现Map/Reduce Locations项,如下图所示:

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

在上图所示区域点击鼠标右键或者如上图所示点击它也行,然后New Hadoop location.

在弹出的界面中做如下设置:

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

50020 -> 50070      (50070是MapReduce的Web界面)

50040-> 9000  

zhouls -> hadoop

搭建基于MyEclipse的Hadoop开发环境

 

 

5、sbin/start-all.sh , 再 jps

搭建基于MyEclipse的Hadoop开发环境

 

 

6、 点击windows  ->  show view  ->  project Exploer ,可以出现以下

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

这就表明,hadoop与本地的MyEclipse搭建成功。

 

 

 

新建MapReduce项目

下面,新建一个

1、File  ->  New  ->  Map/Reduce Project 

搭建基于MyEclipse的Hadoop开发环境

 

 

2、将Map/Reduce Project 项目工程的名字设置为Hadoop

搭建基于MyEclipse的Hadoop开发环境

 

 

3、Open Associated Perspective选择界面,点击“Yes”

搭建基于MyEclipse的Hadoop开发环境

 

 

4、即出现Hadoop

搭建基于MyEclipse的Hadoop开发环境

 

 

5、新建包Package

  src   ->    New  Package 

Source  folder: Hadoop/src

Name:com.dajiangtai.hadoop.test

搭建基于MyEclipse的Hadoop开发环境

 

 

6、新建类名,WordCount

搭建基于MyEclipse的Hadoop开发环境

 

 

7、来看下WordCount自带的程序:

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

 

改之前,是

搭建基于MyEclipse的Hadoop开发环境

改之后,是

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

 

 

 

8、window -> show view -> other -> 

搭建基于MyEclipse的Hadoop开发环境

 

 

9、运行下程序。

搭建基于MyEclipse的Hadoop开发环境

 

 

10、

搭建基于MyEclipse的Hadoop开发环境

 

 

11、

搭建基于MyEclipse的Hadoop开发环境

 

 

12、在本地的Hadoop安装目录下的src目录里,将log4j.properties复制到其下。

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

 

 

 13、重启后的MyEclipse对应的位置。

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

然后,再执行WordCount.java

搭建基于MyEclipse的Hadoop开发环境

刷新,查询下结果

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境

这个统计结果跟之前一致。

即表明搭建基于MyEclipse的Hadoop开发环境已经成功!

 

 

 

 

 

 

 

 

 

本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5071672.html,如需转载请自行联系原作者

 

 

相关文章:

  • 2021-09-11
  • 2021-12-31
  • 2022-12-23
  • 2021-12-15
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2021-12-17
  • 2022-12-23
  • 2021-08-25
  • 2021-09-16
  • 2021-07-30
相关资源
相似解决方案