Cassandra/Spark 相关数据点以百万条记录分隔

Question

我有传感器数据，近似格式显示了我将其存储在 cassandra 表中的方式。

CREATE TABLE sensor_log (
    sensor_id BIGINT,
    created_at TIMEUUID,
    SensorEventType TEXT,
    PRIMARY KEY(sensor_id, created_at)
)
WITH CLUSTERING ORDER BY (created_at DESC)

大约有 10 种不同类型的事件（SensorEventType）发生。说他们的名字

(SensorEventType)SET1...SET10. 

我将数据保留 90 天。

其中一些类型的事件发生得非常频繁，而有些则非常罕见。

所以发生的事情是 SET1 发生在第 1 天，而 SET9 发生在第 60 天之后。在这之间，还有许多其他 SensorEventType 记录被记录下来。因此，在这两者之间将有 1 亿个数据点。

example

SENSOR_ID   Data stored Clustered by created_at.
 1         SET2,SET1,SET3,SET4....100millionrandomSET....SET9,SET3,SET4....
 2         SET4,SET5,SET1,SET4....100millionrandomSET....SET2,SET9,SET6....

each SET stored in sequential manner by created_at

我需要为每个传感器关联 SET1 和 SET9 数据点在逻辑中的事实，以获取一些信息。我正在考虑使用火花。 Correlation 纯粹基于 SensorEventType，是查找 SET9 和 SET1 之间持续时间的业务逻辑要求。因此，如果 SET9 发生在 SET1 之后，请记下发生之间的持续时间并将其保存在另一个表中。

现在的问题是为了关联 Spark 中的数据，我似乎需要实际加载所有数据点，所有数据点都在内存中以在 SET1 和 SET9 之间关联。这是思考解决这个设计问题的正确方法吗？

对于应该如何设计以及如何在数据点之间以百万计的火花相关性如何工作，任何人都有更好的指示。我是新来的火花，任何帮助将不胜感激。

Answer 1

我不确定我是否完全理解您的用例，但您似乎不需要使用 Spark，并且可以在普通 Cassandra 中进行这种关联。

代替（或者可能除了）记录单个分区中传感器的所有事件的表，为什么不将事件类型添加到分区键中，如下所示：

CREATE TABLE sensor_log (
    sensor_id BIGINT,
    created_at TIMEUUID,
    SensorEventType TEXT,
    PRIMARY KEY((sensor_id, SensorEventType), created_at)
)
WITH CLUSTERING ORDER BY (created_at DESC)

这会将每个 SET 值放在您可以独立查询的每个传感器的自己的分区中。

通过这样做，SET1 和 SET9 事件之间的 1 亿个数据点将被放置在单独的分区中，并且不会妨碍您。因此，当 SET9 事件出现时，只需从该传感器的 SET1 分区中选择最新的数据点：

SELECT created_at FROM sensor_log WHERE sensor_id=x and SensorEventType=SET1 LIMIT 1;

现在从传入的 SET9 事件的 created_at 时间中减去 created_at 时间。

这样的分区还可以简化 Spark 的使用，因为您可以从这些较小的分区创建 RDD，并且只加载 SET1 和 SET9 分区而不是所有 SET 类型。