【发布时间】：2020-03-26 23:11:46
【问题描述】：
Spark的Dataframe API中的“API”是什么意思？ 它与 API 有什么关系？
【问题讨论】：
-
是一个应用程序编程接口，为您提供文档中描述的数据帧的可能性。
标签： apache-spark pyspark apache-spark-sql pyspark-sql
【发布时间】：2020-03-26 23:11:46
【问题描述】：
虽然术语A应用P编程I界面主要用于暴露Web服务器服务的元素，但它有一个更一般的意思。
对于扩展为 Spark 的框架，它指定了与用户可用的库交互的特定方式。
Spark 具有不同的API，具有不同的用途，可用作屏蔽更复杂的底层或结构代码的前端接口 (Facade Pattern)： 即使每个spark 作业 都运行基于RDD 的管道，Spark 也提供了不同的方式来构造作业：
- Core API（Spark Core）：用户直接操作RDD，是底层API
- 数据集 API (Spark SQL)：用户操作高级类型的对象
- DataFrame API (Spark SQL)：用户操作高级无类型对象
- SQL API (Spark SQL)：用户编写 SQL 查询字符串
（最后 3 个 API 利用描述性编程模型和操作数据的结构来生成优化的 Spark 作业）
注意：按照惯例，在谈论 Dataset API 时，我们谈论的是使用 T 与 Row 不同的 Dataset[T] 对象的操作。对Dataset[Row] 对象的操作称为DataFrame API（因为DataFrame 是Dataset[Row] 的类型别名）。
【讨论】：