我陷入了这样一个困境，即我无法选择哪种解决方案对我更好。我有一个非常大的表（几个 100GB）和几个更小的表（几个 GB）。为了在 Spark 中创建我的数据管道并使用 spark ML，我需要加入这些表并执行几个 GroupBy（聚合）操作。这些操作对我来说真的很慢，所以我选择了以下两种操作之一：
我可以说 Parquet 分区的工作速度更快，可扩展性更高，而且 Cassandra 使用的内存开销更少。所以问题是这样的：
如果开发人员推断并理解数据布局及其使用方式，那么仅使用 Parquet 不是更好吗，因为您将拥有更多控制权？我为什么要为 Cassandra 造成的开销付出代价？
【问题讨论】：
标签： apache-spark cassandra spark-dataframe parquet
这取决于您的用例。 Cassandra 使使用（有限的）伪 SQL 访问数据变得更加容易（也在 Spark 之外）。这使得它非常适合在其上构建在线应用程序（例如，在 UI 中显示数据）。
此外，如果您必须处理更新，Cassandra 会变得更容易，这不仅是要在数据管道中摄取的新数据（例如日志），而且您还必须注意更新（例如系统必须处理数据更正）
当您的用例是使用 Spark 进行分析时（并且您不关心上面提到的主题），使用 Parquet/HDFS 应该是可行的并且相当便宜 - 正如您所说的那样。借助 HDFS，您还可以通过 Spark 实现数据本地化，并且如果您正在读取大块数据，您的分析 Spark 应用程序可能会更快。
【讨论】：
Cassandra 也是分析用例的一个很好的解决方案，但以另一种方式。在对键空间进行建模之前，您必须知道如何读取数据。您还可以使用 where 和 range 查询，但要严格限制。有时你会讨厌这种限制，但这些限制是有原因的。 Cassandra 不像 Mysql。在 MySQL 中，性能不是关键特性。它更多的是关于灵活性和一致性。 Cassandra 是一个高性能的写/读数据库。写比读好。 Cassandra 还具有线性可扩展性。
好的，关于您的用例：Parquet 对您来说是更好的选择。这就是为什么：
这更适合 Parquet 的用例。 Parquet 是一种用于临时分析、过滤器分析的解决方案。如果您需要每月运行 1 或 2 次查询，Parquet 非常好。如果营销人员想知道一件事并且响应时间并不那么重要，Parquet 也是一个不错的解决方案。简单明了：
如果实时很重要，请使用 Cassandra（我谈到最多 30 秒的延迟，从客户执行操作开始，我可以在仪表板中看到结果）
如果实时无关紧要，请使用 Parquet
【讨论】：