【发布时间】:2016-12-12 07:11:00
【问题描述】:
我有一个 Dataset[String],需要转换为 RDD[String]。怎么样?
注意:我最近从 spark 1.6 迁移到 spark 2.0。我的一些客户期待 RDD,但现在 Spark 给了我数据集。
【问题讨论】:
标签: java scala apache-spark
我有一个 Dataset[String],需要转换为 RDD[String]。怎么样?
注意:我最近从 spark 1.6 迁移到 spark 2.0。我的一些客户期待 RDD,但现在 Spark 给了我数据集。
【问题讨论】:
标签: java scala apache-spark
正如 scala API documentation 中所述,您可以在您的数据集上调用 .rdd:
val myRdd : RDD[String] = ds.rdd
【讨论】:
Dataset 是一个强类型的 Dataframe,因此 Dataset 和 Dataframe 都可以使用 .rdd 来转换为 RDD。
【讨论】: