使用 Kafka Streams 在依赖对象之间排序

Question

我正在从代表依赖实体的 RestfulAPI 读取数据。 例如，从 /students 我得到学生对象，从 /teachers 我得到教师对象。 学生连接到教师对象（学生有教师 ID）。 问题是我从 /students 到 Kafka 生成学生主题，从 /teachers 到教师主题，但是当我尝试将它们与 Kafka Streams 结合起来时，有时学生事件发生在其教师事件到达之前，因此我没有收到学生和老师的加入记录（由于早到的学生）。 使用窗口不是最佳选择，因为我想一直获取学生更新。

1. 我的问题是 - 如何同步事件，以便能够解析依赖对象。
2. 目前我正在手动轮询 API 服务并将结果生成到 Kafka - 有没有办法以简单的方式使用 Kafka Connect 和 Rest API 作为源？

Answer 1

以下方法应该会有所帮助：

1. 为教师主题创建一个流，因为传入的记录将是稳定的。
2. 要处理传入的学生流，请为学生创建一个KTable。
3. 在教师和学生之间执行非窗口连接。

KTable 是一个变更日志流，因此所有传入的记录都将被视为插入或更新。

您可以参考this documentation。