Hadoop初体验——搭建hadoop简单实现文本数据全局排序

      之前在实现一些机器学习算法时，跑数据量、feature很多的数据集往往要耗费很多时间，尤其是处理大量文本数据时候，单机跑算法的时间让我无法容忍，理论上如果合理的将大数据量分布式并行计算框架（例如hadoop）应用到这些算法上能有效提高算法执行速度(当然，要求算法本身可以全部或部分进行并行化处理)，下一步想要学习Mahout（http://mahout.apache.org/），它的目标是：build scalable machine learning libraries，它是基于hadoop的，所以在此之前需要学习一下Hadoop，先从hadoop搭建开始吧。

1、硬件、软件准备

      手头上有三台配置一样的电脑，就不去装虚拟机了，配置如下：

CPU：Intel(R) Pentium(R) Dual  CPU  E2200  @ 2.20GHz

Memory：2001MiB

Network：NetLink BCM5786 Gigabit Ethernet

      三台电脑装有相同的操作系统——Ubuntu 11.04

2、安装过程

      任选一台机器作为master，其他机器作为slaves，所有机器拥有相同的用户、相同的环境变量配置、相同的hadoop目录结构、相同的Java目录结构。

（1）、更改host文件

      master机器：在终端执行：sudo gedit /etc/hosts，添加以下信息：

172.22.9.209    namenode-m

172.22.9.185    datanode-1

172.22.9.220    datanode-2

     slaves机器：处理方式类似。

（2）、安装SSH

      1)、为所有机器安装ssh：在终端运行：sudo apt-get install ssh，查看/leozhang目录下是否有.ssh文件夹(需要View->Show Hidden Files才能看见隐藏文件)，如果没有，在终端运行：sudo mkdir .ssh;

      2）、在终端运行：

      cd .ssh

      #生成公钥、私钥密钥对

      ssh-keygen  #一直回车

      #将公钥内容复制到authorized_keys文件
      cp id_rsa.pub authorized_keys

      #设定authorized_keys文件属性为-rw-r--r--，即文件属主拥有读写权限，与文件属主同组的用户拥有读权限，其他人拥有读权限。

      chmod 644 authorized_keys

      #将公钥拷贝到slaves

      scp authorized_keys datanode-1:/home/leozhang/.ssh #这里也可以是scp authorized_keys leozhang@datanode-1:/home/leozhang/.ssh

      scp authorized_keys datanode-2:/home/leozhang/.ssh #同上

      最后测试设置是否成功，如：ssh datanode-1，如果不用输入密码就能登录，说明设置成功。

（3）、下载并配置jdk

      1）、从http://www.oracle.com/technetwork/java/javase/downloads/java-se-jdk-7-download-432154.html下载jdk-7-linux-i586.tar.gz,解压后得到文件夹：jdk1.7.0，（例如下载并解压到了：/home/leozhang/Downloads）；

      2）、在所有机器上做如下操作：在/usr建立文件夹java：在终端执行：sudo mkdir /usr/java，并将jdk1.7.0拷贝到java文件夹：进入/home/leozhang/Downloads目录，在终端执行sudo mv jdk1.7.0 /usr/java;

      3)、在终端执行：sudo gedit /etc/profile，在文件末尾添加：

JAVA_HOME="/usr/java/jdk1.7.0"

export JAVA_HOME

PATH=$JAVA_HOME/bin:$PATH

export PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH 

export CLASSPATH

      4）、在终端执行：

      cd /usr/java

      scp -r java1.7.0 leozhang@datanode-1:/usr/java

      scp -r java1.7.0 leozhang@datanode-2:/usr/java

（4）、下载并配置hadoop

      hadoop包含三个部分：

Hadoop Common: The common utilities that support the other Hadoop subprojects.

Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data.

Hadoop MapReduce: A software framework for distributed processing of large data sets on compute clusters.

     1）、从http://labs.renren.com/apache-mirror//hadoop/core/hadoop-0.20.204.0/下载hadoop-0.20.204.0.tar.gz，解压到home/leozhang中并重命名为hadoop；

     2）、在终端执行：sudo gedit /etc/profile，在文件末尾添加：

HADOOP_HOME=/home/leozhang/hadoop

export HADOOP_HOME

export HADOOP=$HADOOP_HOME/bin

export PATH=$HADOOP:$PATH

     3）、hadoop配置文件

     在hadoop文件夹中有一个conf文件夹，里面是hadoop所需的配置文件，主要关注的有以下几个：

     ●hadoop-env.sh

      需要改动的只有一处，设置JAVA_HOME。

# The java implementation to use.  Required.
export JAVA_HOME=/usr/java/jdk1.7.0

     ●core-site.xml

     fs.default.name指出NameNode所在的地址，NameNode要跑在master机器上。

<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://172.22.9.209:9000</value>
     </property>

     <property>
      <name>hadoop.logfile.size</name>
      <value>10000000</value>
      <description>The max size of each log file</description>
     </property>

     <property>
      <name>hadoop.logfile.count</name>
      <value>10</value>
      <description>The max number of log files</description>
     </property>

</configuration>

     ●hdfs-site.xml

      dfs.replication默认是3，如果DataNode个数小于3会报错。

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>2</value>
     </property>
</configuration>

     ●mapred-site.xml

      mapred.job.tracker指出jobtracker所在地址，其它项不去配置则都为默认值。

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>172.22.9.209:9001</value>
     </property>
</configuration>

     关于配置文件的详细信息可以在http://hadoop.apache.org/common/docs/stable/cluster_setup.html中找到。

     ●masters

        172.22.9.209

     ●slaves

        172.22.9.185
        172.22.9.220

      4）、在终端执行：

      cd /home/leozhang

      scp -r hadoop leozhang@datanode-1:/home/leozhang

      scp -r hadoop leozhang@datanode-2:/home/leozhang


      5）、在终端执行：source /etc/profile，如果不管用就注销然后重新登录。

3、数据全局排序 

(1)、工具准备

      需要下载eclipse，地址是http://www.eclipse.org/downloads/，也可以在终端运行sudo apt-get install eclipse，可以装个mapreduce的插件，方便在单机调试代码，那个插件在下载的hadoop的目录里，如：/home/leozhang/hadoop/contrib/eclipse-plugin/hadoop-eclipse-plugin-0.20.204.0.jar，把它拷贝到eclipse安装目录的plugins文件夹中即可。

(2)、启动hadoop

      第一次使用需要初始化NameNode，在master机器的终端上执行：hadoop namenode -format；

      在master机器的终端上执行：start-all.sh，可以用jps来查看本机的java进程，在master上启动了3个进程：JobTracker、SecondaryNameNode、NameNode，而slaves机器上有2个进程：TaskTracker、DataNode；需要停止进程，只要在master机器的终端上执行：stop-all.sh。

      在http://localhost:50070/可以看到NameNode的详细信息，如：

Hadoop初体验——搭建hadoop简单实现文本数据全局排序      在http://localhost:50030可以看到作业的详细信息，如：

Hadoop初体验——搭建hadoop简单实现文本数据全局排序


(3)、关于mapreduce

      mapreduce很适合数据之间相关性较低且数据量庞大的情况，map操作将原始数据经过特定操作打散后输出，作为中间结果，hadoop通过shuffle操作对中间结果排序，之后，reduce操作接收中间结果并进行汇总操作，最后将结果输出到文件中，从这里也可以看到在hadoop中，hdfs是mapreduce的基石。可以用下面这幅图描述map和reduce的过程：

 Hadoop初体验——搭建hadoop简单实现文本数据全局排序

       有人用这么一句话解释mapreduce：

       We want to count all the books in the library. You count up shelf #1, I count up shelf #2. That's map. The more people we get, the faster it goes.
我们要数图书馆中的所有书。你数1号书架，我数2号书架。这就是“Map”。我们人越多，数书就更快。

Now we get together and add our individual counts. That's reduce.
现在我们到一起，把所有人的统计数加在一起。这就是“Reduce”。

(4)、数据准备

      将待排序文本上传到hdfs上并放在input文件夹中，在终端执行：hadoop dfs –mkdir input；

      假设数据文件data.txt放在本地磁盘的/home/leozhang/testdata中，在终端执行：cd /home/leozhang/testdata；hadoop dfs –put data input/

(5)、排序思路

      借鉴快速排序的思路：假设为升序排序，那么每完成一次partition，pivot左边所有元素的值都小于等于pivot，而pivot右边的所有元素的值都大于等于pivot，如果现在有N个pivot，那么数据就被map成了N+1个区间，让reducer个数等于N+1，将不同区间的数据发送到相应区间的reducer；hadoop利用shuffle操作将这N+1份数据自动排序，reduce操作只需要接收中间结果后直接输出到文件即可。

由此归纳出用hadoop对大量数据排序的步骤：

1）、对待排序数据进行抽样；

2）、对抽样数据进行排序，产生pivot（例如得到的pivot为：3,9,11）；

3）、Map对输入的每条数据计算其处于哪两个pivot之间，之后将数据发给相应的reduce（例如区间划分为：<3、[3,9)、>=9，分别对应reducer0、reducer1、reducer2）；

4）、Reduce将获得数据直接输出。

(6)、简单实现

      数据抽样由：RandomSelectMapper和RandomSelectReducer完成，数据划分由ReducerPatition完成，排序输出由SortMapper和SortReducer完成，执行顺序为：RandomSelectMapper –> RandomSelectReducer –> SortMapper –> SortReducer。

这个实现方式总觉得不给力，尤其是数据划分那块儿，不知道大家会怎么做，指导一下我吧，呵呵。代码可以从这里得到。

1）、pivot的选取采用随机的方式：

package MRTEST.Sort; 
   2:  
import java.io.IOException;
import java.util.Random;
import java.util.StringTokenizer;
   6:  
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
   9:  
class RandomSelectMapper
extends Mapper<Object, Text, Text, Text>{
int currentSize = 0;
new Random();
  14:     
void map(Object key, Text value, Context context)
throws IOException, InterruptedException{
new StringTokenizer(value.toString());
while(itr.hasMoreTokens()){
  19:             currentSize++;
new Random();
if(random.nextInt(currentSize) == ran.nextInt(1)){
new Text(itr.nextToken());
  23:                     context.write(v, v);      
  24:             }
else{
  26:                 itr.nextToken();
  27:             }
  28:         }
  29:     }
  30:  
  31: }

相关文章：

  • 2022-02-11
  • 2021-06-16
  • 2022-12-23
  • 2022-01-27
  • 2021-08-26
  • 2021-04-08
  • 2021-08-14
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2021-10-24
  • 2021-06-21
  • 2022-01-09
  • 2022-12-23
  • 2022-12-23
  • 2022-01-04
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode