一、 Hadoop2.7.3安装并配置成功
二、 在HDFS中创建input文件目录
hadoop fs -mkdir /input
三、当前在hadoop-2.7.3的目录下,有个LICENSE.txt的文件,把它放到hdfs的input目录下面
hadoop fs -put LICENSE.txt /input
四、
(1)查看文件是否正确传入到/input目录下
hadoop fs -ls /input
(2)查看文件内容
hadoop fs -cat /input/LICENSE.txt
五、执行 hadoop jar /usr/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output
按我前面的配置会卡在mapreduce.Job: Running job
在etc/hadoop/mapred-site.xml中,如果配置
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
则使用yarn来进行计算,那么必须启动nodemanager,
如果不使用yarn,进行mapreduce.job.tracker配置,也可以用MRv2来执行job,这样就不需要启动nodemanager:
<property>
<name>mapreduce.job.tracker</name>
<value>hdfs://192.168.153.129:8001</value>
<final>true</final>
</property>
六、修改后重新运行 hadoop jar /usr/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output3
七、查看输出结果的目录下的文件
hadoop fs -ls /output3
查看输出结果
hadoop fs -cat /output3/part-r-00000