在 Spark 中获取已处理数据帧记录数的最快方法

Question

我目前正在开发一个 Spark 应用程序，该应用程序使用数据帧来计算和聚合配置单元表中的特定列。

除了在dataframes/rdd 中使用count() 函数。是否有更优化的方法来获取处理的记录数或数据帧的记录数？

我只需要知道是否需要重写某个特定函数。

任何答复将不胜感激。我目前使用的是 Apache spark 1.6。

谢谢。

Answer 1

除了在 dataframes/rdd 中使用 count() 函数，还有没有更优化的 获取处理的记录数或记录数的方法 一个数据框？

不。由于一个 RDD 可能有一个任意复杂的执行计划，包括 JDBC 表查询、文件扫描等，所以没有先验的方法来确定它的大小而不能计数。