【问题标题】:Get the key of a JavaPairRDD获取 JavaPairRDD 的密钥
【发布时间】:2017-03-10 06:54:21
【问题描述】:

我有一个 JavaPairRDD >>

我把它打印在一个文件中,内容是

(ABC,[(ABC,1)])
(BBC,[(BBC,1)])
(CBD,[(CBD,1)])
(BBD,[(BBD,1)])
(ACD,[(ACD,1)])

现在我只想将字符串 ABC、BBC、CBD、BBD、ACD 转换为 JavaRDD 并将它们打印到文件中

到目前为止,我可以使用 foreach 在控制台中打印它们

foreach(new VoidFunction<Tuple2<String, Iterable<Tuple2<String, String>>>>() {

            @Override
            public void call(Tuple2<String, Iterable<Tuple2<String, String>>> t) throws Exception {
                // TODO Auto-generated method stub
                System.out.println(t._1);
            }
        });

我想在文件中做同样的事情。我是新来的火花,所以不知道我怎么能做到这一点。任何帮助将非常感激。提前致谢。

【问题讨论】:

    标签: apache-spark


    【解决方案1】:

    请尝试:

    pairRdd.keys().coalesce(1).saveAsTextFile("some_path");
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2018-11-29
      • 2013-03-21
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-03-10
      • 2019-03-01
      相关资源
      最近更新 更多