【发布时间】:2019-11-02 02:20:07
【问题描述】:
我必须像 java Wordcount 一样使用 JavaRDD 在 java spark 中创建一个字母计数程序。但我不知道拆分条件将如何用于分隔/计算段落中每个字母的出现。请在 java spark 中帮助我提供一个工作示例,谢谢。下面给出了我的 javawordcount 的工作代码...
JavaRDD<String> wordsFromFile = inputFile.flatMap(content -> Arrays.asList(content.split(" ")));
JavaPairRDD countData = wordsFromFile.mapToPair(t -> new Tuple2(t, 1)).reduceByKey((x, y) -> (int) x + (int) y);
//The above condition is used for word count
【问题讨论】:
标签: java apache-spark bigdata