使用 Spark 的 Cassandra（使用 Hadoop）性能

Question

我们在不同于 Cassandra 的一组节点上运行 Spark/Hadoop。我们有 10 个 Cassandra 节点和多个 Spark 核心，但 Cassandra 没有在 Hadoop 上运行。通过 spark（在 yarn 客户端模式下）从 Cassandra 获取数据的性能不是很好，并且从 HDFS 读取的批量数据更快（Cassandra 中为 6 分钟，HDFS 中为 2 分钟）。更改 Spark-Cassandra 参数也无济于事。

在 Cassandra 之上部署 Hadoop 会解决这个问题并严重影响读取性能吗？

Answer 1

在不查看您的代码的情况下，在分析/Spark 容量中进行批量读取，在直接访问文件 VS 时总是会更快。从数据库中读取。该数据库提供了其他优势，例如架构实施、可用性、分发控制等，但我认为您看到的性能差异是正常的。