数据框和数据集 [重复]

Question

在spark中，总会有这样的操作：

 hiveContext.sql("select * from demoTable").show()

当我在 Spark 官方 API 中查找 show() 方法时，结果是这样的： enter image description here 而当我把关键词改成'Dataset'时，我发现DataFrame上使用的方法属于Dataset。它是如何发生的？有什么暗示吗？

Answer 1

根据the documentation：

数据集是数据的分布式集合。

还有：

DataFrame 是组织成命名列的数据集。

所以，从技术上讲： DataFrame 等价于Dataset<Row>

最后一句：

在 Scala API 中，DataFrame 只是 Dataset[Row] 的类型别名。而在Java API中，用户需要使用Dataset来表示一个DataFrame。

简而言之，具体类型是Dataset。