用于高摄取率和删除操作的 Cassandra 数据模型

Question

我正在使用以下 Cassandra 数据模型

ruleid - bigint
patternid - bigint
key - string
value - string 
time - timestamp
event_uuid -time based uuid
partition key - ruleid, patterid
clustering key - event_uuid order by descending

我们的摄取速率约为每个模式 id 每秒 100 条记录，并且可能有 10 000 多个模式 id。

我们的查询相当简单，我们根据分区键过滤的 desc uuid 查询最后 100 000 条记录。

此外，对于我们的用例，我们需要在每个模式 id 上每秒执行大约 5 次删除。

但这会导致所谓的墓碑，并导致再次查询数据存储区时出现读取超时。

如何克服上述问题？

Answer 1

听起来您正在将记录存储到表中，对记录进行一些转换/处理，然后删除它们。

但由于您在分区中删除行（而不是分区本身），您必须遍历已删除的行（墓碑）才能获得实时记录。

但真正的问题是读取的行数过多而效果不佳。检索 100K 行会很慢，因此请考虑对结果集进行分页。

由于您提供的信息有限，这不是一个容易解决的问题。干杯！