【问题标题】:When to Use the Low-Level APIs?何时使用低级 API?
【发布时间】:2019-06-30 01:41:47
【问题描述】:

在 spark 中,弹性分布式数据集 (RDD) 是低级 API,而数据帧是高级 API,所以我的问题是何时使用低级 API?

【问题讨论】:

    标签: apache-spark pyspark rdd low-level-api


    【解决方案1】:

    Spark 有两组基本 API:低级 “非结构化”API 和更高级别的结构化 API。

    RDD 既可以处理结构化数据,也可以处理非结构化数据,其中数据框将数据组织成行列格式,因此适用于结构化数据。如果需要,您可以将数据框转换为 rdd。

    一般来说,人们使用数据框,因此使用高级 API,因为它提供了更多选项。 但这完全取决于您的要求。

    我建议您阅读“Learning Spark”或“Spark - The Defintive Guide”等书籍,以获得更多说明。

    【讨论】:

      猜你喜欢
      • 2017-02-20
      • 1970-01-01
      • 2020-07-03
      • 2023-04-08
      • 1970-01-01
      • 2020-06-18
      • 2017-12-10
      • 2018-04-10
      • 1970-01-01
      相关资源
      最近更新 更多