一、 Hadoop2.7.3安装并配置成功


二、 在HDFS中创建input文件目录

       hadoop fs -mkdir /input 

    Hadooop运行WordCount(Hello world)程序

三、当前在hadoop-2.7.3的目录下,有个LICENSE.txt的文件,把它放到hdfs的input目录下面

   hadoop fs -put LICENSE.txt  /input

   

四、

       (1)查看文件是否正确传入到/input目录下

         hadoop fs -ls /input

       Hadooop运行WordCount(Hello world)程序

       (2)查看文件内容

       hadoop fs -cat /input/LICENSE.txt

 

五、执行   hadoop jar /usr/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input    /output

      

     按我前面的配置会卡在mapreduce.Job: Running job

      在etc/hadoop/mapred-site.xml中,如果配置

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

      则使用yarn来进行计算,那么必须启动nodemanager,

      如果不使用yarn,进行mapreduce.job.tracker配置,也可以用MRv2来执行job,这样就不需要启动nodemanager:

     <property>

        <name>mapreduce.job.tracker</name>

        <value>hdfs://192.168.153.129:8001</value>

        <final>true</final>

    </property> 

六、修改后重新运行 hadoop jar /usr/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input    /output3

    Hadooop运行WordCount(Hello world)程序

七、查看输出结果的目录下的文件

   hadoop fs -ls /output3

  查看输出结果

   hadoop fs -cat /output3/part-r-00000

   Hadooop运行WordCount(Hello world)程序

相关文章:

  • 2022-01-23
  • 2021-07-05
  • 2021-12-06
  • 2021-06-09
  • 2022-01-05
  • 2022-01-01
  • 2021-10-30
  • 2021-09-22
猜你喜欢
  • 2021-07-05
  • 2022-12-23
  • 2022-01-05
  • 2021-12-29
  • 2022-02-04
  • 2021-06-05
  • 2021-09-03
相关资源
相似解决方案