【问题标题】:How to show all records in Spark DataFrame by method .show()?如何通过方法.show()显示Spark DataFrame中的所有记录?
【发布时间】:2022-12-20 20:18:08
【问题描述】:

假设我想使用 show() 查看 PySpark DataFrame 的所有记录。

Show() 有一个参数n,它控制要显示的记录数。有什么办法可以显示 DataFrame 的所有记录吗?

【问题讨论】:

  • 那你为什么不简单地使用collect呢?你的实际问题是什么?它真的在show 上,还是您想要一种查看所有数据的方法?
  • 我想在对数据集应用转换以检查结果后查看所有数据。
  • 然后只需使用收集

标签: dataframe pyspark show


【解决方案1】:

我想这应该适合你:

df.show(df.count(),False)

【讨论】:

    猜你喜欢
    • 2020-10-16
    • 1970-01-01
    • 1970-01-01
    • 2019-07-05
    • 1970-01-01
    • 2015-07-27
    • 1970-01-01
    • 1970-01-01
    • 2020-12-18
    相关资源
    最近更新 更多