Spark 在 Scala 中打印我的 DataFrame 的形状

Question

Pandas 中有一个函数可以计算我的 DataFrame 的形状，最终结果类似于

[total number of rows, total number of columns]

我可以在 PySpark 中使用以下函数来获取我的 DataFrame 的形状：

print((df.count(), len(df.columns)))

我如何在 Scala 中做同样的事情？对于更大的数据集，这也是一种有效的方法吗？

Answer 1

解决方案与python中的几乎相同。查看documentation of DataFrame，可以看到有两个有趣的方法； count() 和 columns()，这正是你想要的。

count() 返回DataFrame 中的行数，columns() 返回所有列名的数组。要获取列的数量，您只需要获取它的长度即可。

TL;DR df.count() 表示行数，df.columns.length 表示列数。