删除 Cassandra 集群中的大量数据

Question

我有三个节点的 Cassandra 集群。过去 4 年的数据接近 7 TB。现在由于服务器可用空间减少，我们希望仅保留最近 2 年的数据。但我们不想完全删除它（超过 2 年的数据）。我们希望保留超过 2 年的特定数据。 目前我可以想到一种方法： 1) Java 客户端使用“MutationBatch 对象”。我可以获得所有属于日期范围的记录键，并且不包括我们不想删除的行。然后批量删除记录。但由于数据量巨大，这种解决方案引发了对性能的担忧。

是否可以在服务器级别（opscenter）处理它。我阅读了有关 TTL 的信息，但如何将其应用于现有数据并限制一些我想要保留的数据，即使它超过 2 年。

请帮助我找出最佳解决方案。

Answer 1

您需要了解的主要一点是，当您在 Cassandra 中删除数据时，实际上是通过编写 tombstone 来添加它们，然后在压缩过程中会删除实际数据。

因此正确执行删除非常重要。有不同类型的删除 - 单个单元格、行、范围、分区（根据生成的墓碑数量从最不有效到最有效）。最适合您的是按分区删除，然后第二个是按分区内的范围。 Following article 详细描述了如何删除数据。

您可能需要分几个步骤执行删除，因此您不要添加太多数据作为墓碑。您还需要检查是否有足够的磁盘空间进行压缩。