根据大量元素过滤 Kafka 流

Question

我有一个非常具体的要求，我在消费来自 Kafka 主题的记录。从该主题读取的记录包含客户的个人银行交易。很明显，里面有银行账号。 此外，我在 Oracle 中有一个包含客户帐号的数据库表。该表有大约 50k 条记录，这些记录是订阅特定服务的帐户。 要求是我想对从 Kafka 主题流式传输的记录进行过滤，以便它应该只给我来自主题的那些记录，其帐号与上表中的 50k 帐号匹配。

注意：我为此使用 Java 8。

希望我已经为我试图解释的场景提供了足够的信息。

Answer 1

您可以将帐号加载到GlobalKTable 中并再次加入表中的流。如果使用内连接，结果流将只包含匹配的记录。