获取 cassandra 中的所有分区键

Question

我的数据负载很高（每分钟约 5000 万），这就是我的表格的样子：

CREATE TABLE test.metric (
    key text,
    timestamp bigint,
    value double,
    PRIMARY KEY (key, timestamp) )

我需要获取所有唯一的 key 。我当然可以SELECT DISTINCT key from metrics;，但我想知道是否有更有效的方法（除了创建另一个只包含键的表）来获取所有不同的分区键（可能来自一些 cassandra 表）

Answer 1

您要做的是设置一组并行作业，每个作业都执行：

SELECT DISTINCT key FROM metrics WHERE token(key) >= ? AND token(key) < ?

然后将环（您可能正在使用 Cassandra 的 Murmur3 分区器，因此您将从 -2^63 变为 2^63）划分为尽可能多的部分，并并行发出这些查询。您可以使用nodetool ring 的输出来帮助您提供一些关于划分作业的提示 - 按主机对其进行分解，这样每个主机只运行少量的 SELECT 查询可能是最高效的。