寻找一种在 spark/scala 中计算数据帧频率分布的方法

Question

我想使用 spark 和 scala 计算数据帧的频率分布（返回每列中最常见的元素及其出现的次数）。我尝试过使用 DataFrameStatFunctions 库，但是在我过滤了仅数字类型列的数据框后，我无法应用库中的任何函数。这样做是创建 UDF 的最佳方法吗？

Answer 1

你可以使用 val newDF = df.groupBy("columnName").count() newDF.show()

它将显示唯一条目的频率计数。