没有足够的空间在内存中缓存 Dataframe

Question

我需要在我的流应用程序中读取一个文件，并且缓存该文件需要更多时间。所以我试图在 spark-shell 中复制它。

文件大小为 2.7G。我已经启动了驱动内存为 6G 的 spark-shell。但它仍然给我以下警告。我相信缓存文件的延迟是因为这个。知道如何解决这个问题。

 scala> val files = spark.read.parquet("/data/realtime/hierarchy")
 files: org.apache.spark.sql.DataFrame = [geo_hierarchy_base_id: string, postal_code: string ... 11 more fields]

 scala> files.cache
 res2: files.type = [geo_hierarchy_base_id: string, postal_code: string ... 11 more fields]

 scala> files.count
 [Stage 5:================>                                         (8 + 4) / 29]2019-05-10 07:19:14 WARN  MemoryStore:66 - Not enough space to cache rdd_16_8 in memory! (computed 267.0 MB so far)
 2019-05-10 07:19:14 WARN  BlockManager:66 - Persisting block rdd_16_8 to disk instead.
 2019-05-10 07:19:14 WARN  MemoryStore:66 - Not enough space to cache rdd_16_11 in memory! (computed 267.1 MB so far)
 2019-05-10 07:19:14 WARN  MemoryStore:66 - Not enough space to cache rdd_16_9 in memory! (computed 267.0 MB so far)
 2019-05-10 07:19:14 WARN  BlockManager:66 - Persisting block rdd_16_9 to disk instead.
 2019-05-10 07:19:14 WARN  BlockManager:66 - Persisting block rdd_16_11 to disk instead.
 2019-05-10 07:19:14 WARN  MemoryStore:66 - Not enough space to cache rdd_16_10 in memory! (computed 267.0 MB so far)
 2019-05-10 07:19:14 WARN  BlockManager:66 - Persisting block rdd_16_10 to disk instead.
 2019-05-10 07:19:17 WARN  MemoryStore:66 - Not enough space to cache rdd_16_11 in memory! (computed 267.1 MB so far)
 2019-05-10 07:19:18 WARN  MemoryStore:66 - Not enough space to cache rdd_16_8 in memory! (computed 267.0 MB so far)

---

编辑

我正在尝试将文件缓存在 spark-shell 中。我的输入文件大小为 2.9GB，spark-shell 的驱动程序内存为 10GB。我试图缓存文件。虽然在启动 spark-shell 时提到了 10G，但只为驱动分配了 5.5GB（附上 spark UI）。

我不明白的是，所有的存储内存（5.3GB）和额外的 2.8GB 磁盘都用于缓存 2.9GB 的文件。

能否请您告诉我在我们进行缓存时究竟会发生什么。为什么几乎使用了 3 倍的 RAM。这是因为我的文件格式是 parquet 并且在读入内存时文件会爆炸吗？我试图从中创建一个文本文件只是为了知道文件大小。文本文件大小约为 21GB。

谢谢

谢谢。

Answer 1

使用 org.apache.spark.serializer.KryoSerializer 来最小化 spark 中的内存消耗。