GlobalTable 与 Ktable-Ktable 连接的非键连接？

Question

我很好奇为什么非键连接适用于 GlobalKTtable 与 KTable-KTable ？虽然我理解为什么我们不需要为globalKTable (BroadCast Join) 进行共同分区，但我不明白是什么启用了非键连接？任何人都可以大致了解正在发生的事情吗？

Answer 1

GlobalKTable 和 KTable 都代表了 changelog 的抽象，但不同之处在于 KTable 是为每个分区的每个应用程序实例在本地创建的，而 GlobalKTable 填充来自每个应用程序实例上所有分区的全部数据。它在每个应用程序实例上复制整个数据，这意味着整个数据集可用于在每个实例上进行查询。因此它不需要共同分区，并且可以在整个表中进行查找。

在下面的例子中：

KStream<String, Long> left = ...;  // // KStream has string type key
GlobalKTable<Integer, Double> right = ...;   // GlobalKTable has integer type key

// Java 8+ example, using lambda expressions
KStream<String, String> joined = left.leftJoin(right,
    (leftKey, leftValue) -> leftKey.length(), /* derive a (potentially) new key by which to lookup against the table */
    (leftValue, rightValue) -> "left=" + leftValue + ", right=" + rightValue /* ValueJoiner */
  );

使用 KeyValueMapper 从左侧流中选择一个键，您可以使用它在 GlobalKTable 中查找，如下所示：

(leftKey, leftValue) -> leftKey.length(), /* select a (potentially) new key by which to lookup against the table */

GlobalKTable 便于连接，但价格昂贵，因为与 KTables 相比，它需要更多的存储空间，并且还会增加网络和 kafka 代理的负载。