在 spark 中查找数据的最佳选择

Question

我有一个要求，我需要从 kafka 主题读取消息，对数据集进行查找，然后根据查找数据的结果发送消息。下面的示例可以使这一点更清楚。

Kafka 主题收到一条 xml 消息，其中 messageID 字段的值为 2345

我们进行查找并确认以前没有发送过具有此 ID 的消息。如果返回 false，我们发送消息，然后将此 messageID 添加到查找数据中。 如果这个 messageID 已经在查找数据中，我们不会继续发送它。

目前这是通过使用 hbase 表来保存查找数据来实现的。但是，我们每天可以收到数百万条消息，我担心组件的性能会随着时间的推移而下降。

是否有其他更优化的解决方案可以使用 hbase 来查找数据，例如将此数据存储在 RDD 中的内存中？我尝试了这个，但遇到了一些困难，因为 spark 上下文显然不可序列化，所以我无法添加到现有的 lookuo 数据集

非常感谢任何建议！

非常感谢

丹

Answer 1

Spark 非常适合处理大量数据以进行分析。创建 RDD 抽象是为了增加 Map-Reduce 过程的性能限制。 Spark 不是像 HBase 这样的键/值存储的替代品。
看着你的问题，在我看来，你需要在 HBase 之上有一个缓存层。这可以通过Redis 或其他分布式缓存机制来实现。
RDD 缓存在这里无济于事，因为

1. 不能保证整个数据都在内存中
2. 配对 rdd 支持基于键值的查找，但它遵循 map reduce 模式来查找键。 RDD 是一种抽象，其中保留了有关数据位置和沿袭 DAG 信息的信息。 RDD 不会具体化数据，除非对它进行一些操作。现在，即使您将所有数据都保存在缓存中，RDD 也需要搜索数据以进行查找。它不像 HBase，你有一个键的索引，并且可以在恒定时间内完成查找。

现在您可能可以构建一些布隆过滤器，为您的数据编制索引并使用 Spark 进行查找。但是，这可能很难。