我正在尝试通过利用分区和下推等功能来优化一些 Spark 查询和 Parquet 模式。我的理解是这些技术允许跳过大部分 Parquet 文件。
有没有办法显示 Spark 读取的字节数与 Parquet 文件的总大小？另外，读取操作的数量？ （我使用的是 S3，因此由于 S3 API 调用的开销，我想尽量减少读取操作的数量。）
【问题讨论】：
标签： apache-spark query-optimization parquet
如果您使用的是 apache spark（而不是 EMR 的私有变体），S3A 连接器会收集 lot of stats，包括：关闭连接时丢弃的字节数、#of HEAD 请求、限制操作等
但是：它并没有真正收集在 spark 中，并且因为每个 s3 存储桶的文件系统类的单个实例（因此统计信息）用于每个工作人员，即使您确定了如何收集它们，它们也往往会高估努力的程度。那里有改进的机会，但这需要大量的工作。您目前得到的只是每个线程读取的字节数、写入的字节数统计信息，如果上传数据的 HTTP 请求是在后台线程中完成的，则实际上可能会低估写入的字节数。
您可以启用org.apache.hadoop.fs.s3a.S3AStorageStatistics 在调试时登录，然后每个 Spark 工作人员的日志实际上会在这些操作发生时跟踪这些操作，但它非常嘈杂。在尝试调试事物或对 Parquet 阅读器本身等进行低级性能优化时主要有用。
恐怕不知道 EMR — 不是我的代码。
【讨论】：