Spark DataFrame 限制函数需要太多时间才能显示

Question

import pyspark
from pyspark.sql import SparkSession
from pyspark.conf import SparkConf
import findspark
from pyspark.sql.functions import countDistinct
spark = SparkSession.builder \
.master("local[*]") \
.appName("usres mobile related information analysis") \
.config("spark.submit.deployMode", "client") \
.config("spark.executor.memory","3g") \
.config("spark.driver.maxResultSize", "1g") \
.config("spark.executor.pyspark.memory","3g") \
.enableHiveSupport() \
.getOrCreate()

handset_info =ora_tmp.select('some_value','some_value','some_value','some_value','some_value','some_value','some_value')

我用 3gb 执行内存和 3gb 执行 pyspark 内存配置 spark。我的数据库有超过 7000 万行。显示我打电话给

 handset_info.show()

它在 2-5 秒之间显示前 20 行的方法。但是当我尝试运行以下代码时

mobile_info_df = handset_info.limit(30)
mobile_info_df.show()

显示前 30 行需要花费太多时间（3-4 小时）。花那么多时间合乎逻辑吗？我的配置有问题吗。 我的笔记本电脑的配置是-

• Core i7（4 核）笔记本电脑，8GB 内存

Answer 1

您的配置很好。这种巨大的持续时间差异是由底层实现引起的。不同之处在于 limit() 在创建一个包含 30 行的数据帧之前读取了所有 7000 万行。相比之下，Show() 只获取现有数据帧的前 20 行，因此只需读取这 20 行。 如果您只想显示 30 行而不是 20 行，可以调用 show() 方法，参数为 30：

df.show(30, truncate=False)

Answer 2

正如您已经体验过的，limit() 处理大数据的性能很差。想为其他有此问题的人分享解决方法。 如果限制计数不必精确，请使用 sort() 或 orderBy() 对列进行排序，并使用 filter() 获取前 k% 的行。

Answer 3

Spark 将您传递给 limit() 的参数复制到每个分区，因此，在您的情况下，它会尝试读取每个分区的 30 行。我猜你碰巧有大量的分区（无论如何这都不好）。试试df.coalesce(1).limit(30).show()，它的运行速度应该和df.show()一样快。