【发布时间】:2022-12-20 20:18:08
【问题描述】:
假设我想使用 show() 查看 PySpark DataFrame 的所有记录。
Show() 有一个参数n,它控制要显示的记录数。有什么办法可以显示 DataFrame 的所有记录吗?
【问题讨论】:
-
那你为什么不简单地使用
collect呢?你的实际问题是什么?它真的在show上,还是您想要一种查看所有数据的方法? -
我想在对数据集应用转换以检查结果后查看所有数据。
-
然后只需使用收集
假设我想使用 show() 查看 PySpark DataFrame 的所有记录。
Show() 有一个参数n,它控制要显示的记录数。有什么办法可以显示 DataFrame 的所有记录吗?
【问题讨论】:
collect呢?你的实际问题是什么?它真的在show 上,还是您想要一种查看所有数据的方法?
我想这应该适合你:
df.show(df.count(),False)
【讨论】: