【发布时间】：2020-10-06 06:12:21
【问题描述】：
如何在 pyspark 中查找数据帧的大小（以 MB 为单位），
df=spark.read.json("/Filestore/tables/test.json") 我想知道df或test.json的大小如何
【问题讨论】：
标签： scala dataframe apache-spark pyspark databricks
【发布时间】：2020-10-06 06:12:21
【问题描述】：
总的来说，这并不容易。你可以
- 使用
org.apache.spark.util.SizeEstimator - 使用涉及缓存的方法，参见例如https://stackoverflow.com/a/49529028/1138523
- 使用
df.inputfiles()并使用其他 API 直接获取文件大小（我使用 Hadoop 文件系统 API (How to get file size) 这样做。这仅在数据帧未过滤/聚合时才有效
【讨论】：