将 RDD 中的多行合并为一行

Question

我有以下情况： val rdd = sc.textFile("textfile");

"textfile" 是一个多行文件。我只需要将多行连接成一行，然后再以文件格式保存。

我对此进行了很多研究。但是，找不到问题的解决方案。

非常感谢您的帮助

谢谢， 象头神

Answer 1

你可以像这样使用reduce：

rdd.reduce((a,b) = a + b) 或更简洁的rdd.reduce(_ + _)