从 Spark Cache VS 数据库中检索数据缓慢

Question

我们引入了 Spark Cache 来在我们的产品中处理内存中的数据，因为在数据量巨大（BIG DATA）的情况下积极处理远程数据库过于耗时。

现在我们注意到，一旦将数据加载到 spark 中，响应速度会比直接查询原始源（远程数据库）更慢

我们正在使用 sparkSQL 来检索数据，并且相同的查询从远程数据库中返回的方式更早，因为同一台计算机上的单个节点的 Spark 缓存滞后了很长时间。

任何指导将不胜感激。

使用 Spark UI 快照的示例查询：

SELECT column1, SUM(column2) FROM tableName WHERE column2 > 200 GROUP BY column1 ORDER BY column1

数据100% 加载在 Spark 内存中。 See Image
从 Spark 加载结果最多需要 15 分钟。 See Image

Spark Cache 包含大约 50,000 条记录。并且测试查询的机器具有 16 个 CPU 内核和 64GB 内存。

我的问题是 50,000 条记录什么都不是，为什么它需要这么多分钟而不是几毫秒。每件事都在本地机器上完成。

Answer 1

首先，检查数据集是否 100% 缓存（例如在 Spark UI 中）。如果没有，Spark 必须远程或从磁盘获取一些数据，并将其与内存中的数据相结合。

其次，Spark 可能不如专用数据库快，因此通过网络从速度非常快的数据库传输结果可能比让通用引擎计算结果要快，特别是如果数据库运行在单机。