在 Spark 中，在 CSV 和 JSON 上查询 DataFrame 之间是否存在性能差异

Question

我在 AWS S3 上有一个 CSV 文件和一个 JSON 文件（每个都有 500 万行/记录）。它们包含完全相同的数据，只是格式不同。

在具有 10 个任务节点的 EMR 集群上，我启动了 Spark（10 个执行器，40 个执行器核心）并创建了两个 DataFrame：一个针对 CSV，一个针对 JSON。

针对基于 JSON 文件构建的 DF 的查询的运行速度比针对基于 CSV 构建的 DF 的类似查询快 2-3 倍。我没有找到任何有关不同存储文件格式的性能差异的信息。

有人知道为什么对 JSON 上的 DF 的查询比 CSV 上的 DF 运行得更快吗？

下面的数据框创建代码

根据 JSON 文件创建 DF：

val hc_json = new org.apache.spark.sql.hive.HiveContext(sc)
val path_json = "s3://<mybucket>/<myjsonfile>.json"
val df_json = hc_json.read.json(path_json)
df_json.registerTempTable("table_json")
hc_json.sql("Select count(*) from table_json").collect()

根据 CSV 文件创建 DF：

（我在使用以下参数启动 Spark 时导入 spark-csv 包：--packages com.databricks:spark-csv_2.11:1.2.0）

val hc_csv = new org.apache.spark.sql.hive.HiveContext(sc)
val path_csv = "s3://<mybucket>/<mycsvfile>.csv"
val df_csv = hc_csv.load("com.databricks.spark.csv", Map("path" -> path,"header"->"false"))
df_csv.registerTempTable("table_csv")
hc_csv.sql("Select count(*) from table_csv").collect()

Answer 1

使用不同数据源创建的 DataFrame 之间应该没有性能差异，它包括 JSON 或 csv。

问题是当您在上面的 sn-ps 中调用 hc_json.sql 时，您不仅会执行查询，还会在每次执行查询时从磁盘加载数据。这意味着您测量的不是查询时间，而是磁盘访问+解析+查询。对于 JSON 和 csv，第一个 * 和最后一个应该或多或少相同，但解析会因源而异。

如果您只想测量实际查询时间，则应缓存数据并执行操作以确保数据已实际加载。例如

df_csv.registerTempTable("table_csv")
sqlContext.cacheTable("table_csv")
hc_csv.sql("SELECT count(*) FROM table_csv").collect()

现在应该加载数据，您可以预期类似的查询时间。

编辑这里实际上还有一个不同之处。从 JSON 源创建的 DataFrame 将获得正确的数据类型，而来自 csv 的数据帧，不提供架构或设置 inferSchema 选项将所有内容读取为字符串。

---

* 正如kostya 指出的那样，JSON 文件通常更小。另一方面，JSON 与 csv 不同，可以很好地处理稀疏日期。

Answer 2

许多因素都会影响查询性能，包括：

• 数据格式
• DataFrame的DataSource的实现细节
• 查询本身
• 数据结构

对于大多数查询而言，使用 CSV 很可能会更快，因为文件大小小于 JSON，并且需要从磁盘读取的数据更少。使用 parquet 文件格式可能会更快，因为文件更小，解码时间更快。

像 (select count(*) from table_csv) 这样的查询对于某些格式（例如 parquet）可以运行得更快，因为 Spark 足够聪明，可以在没有请求列的情况下跳过读取数据。

@zero323 建议先将数据加载到内存中，这很可能会提高查询执行速度，但如果您的集群中没有足够的 RAM 来容纳整个数据集，它将无法工作。