Spark shell 统计word count程序

1、启动hdfs 

2、启动Spark

3、进入Spark shell 

 

UI 界面显示如下

4 、在scala 命令行中执行如下代码

sc.textFile("hdfs://bigdata121:9000/tmp/spark/data.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).saveAsTextFile("hdfs://bigdata121:9000/tmp/spark/count_word.txt")

 

5、查看统计结果 

 hdfs web 页面

6、在本地用hdfs 命令