Scala RDD[(String,String)] 到 RDD[String]

【问题标题】：Scala RDD[(String,String)] to RDD[String]Scala RDD[(String,String)] 到 RDD[String]
【发布时间】：2021-10-16 17:14:19
【问题描述】：

我们正在以 RDD[(String,String)] 格式读取 UTF_8 文件，需要帮助将其转换为 RDD[String]。

val textRdd = sparkSession.sparkContext.binaryFiles(filePath,12)
     .mapValues(content => new String(content.toArray(), StandardCharsets.UTF_8))

【问题讨论】：

【解决方案1】：

您只需要从元组中提取值，即（字符串，字符串）。

val outRDD = textRdd.map(t=>t._2) // To get first value use t._1

【讨论】：