【问题标题】:Spark converting a Dataset to RDDSpark 将数据集转换为 RDD
【发布时间】:2016-12-12 07:11:00
【问题描述】:

我有一个 Dataset[String],需要转换为 RDD[String]。怎么样?

注意:我最近从 spark 1.6 迁移到 spark 2.0。我的一些客户期待 RDD,但现在 Spark 给了我数据集。

【问题讨论】:

    标签: java scala apache-spark


    【解决方案1】:

    正如 scala API documentation 中所述,您可以在您的数据集上调用 .rdd

    val myRdd : RDD[String] = ds.rdd
    

    【讨论】:

      【解决方案2】:

      Dataset 是一个强类型的 Dataframe,因此 Dataset 和 Dataframe 都可以使用 .rdd 来转换为 RDD。

      【讨论】:

        猜你喜欢
        • 2018-06-14
        • 2017-07-08
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2019-07-23
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多