【发布时间】:2020-11-01 18:25:10
【问题描述】:
我没有足够的信息来了解源连接器在 KSQLDb 和 Kafka 中的工作原理。
-
将数据填充到 Kafka 主题的速度有多快?
-
如果 KsqlDb 流需要来自源的数据来连接数据,但仍然加载数据怎么办?
-
源连接器是否将更新/插入的数据发送到主题,它会立即发生?
您能帮我解决这些问题或提供一个好的教程,我可以在其中了解更多信息。
【问题讨论】:
标签: apache-kafka ksqldb
我没有足够的信息来了解源连接器在 KSQLDb 和 Kafka 中的工作原理。
将数据填充到 Kafka 主题的速度有多快?
如果 KsqlDb 流需要来自源的数据来连接数据,但仍然加载数据怎么办?
源连接器是否将更新/插入的数据发送到主题,它会立即发生?
您能帮我解决这些问题或提供一个好的教程,我可以在其中了解更多信息。
【问题讨论】:
标签: apache-kafka ksqldb
- 数据填充到 Kafka 主题的速度有多快?
取决于连接器。有些连接器是事件驱动的,有些使用轮询机制。事件驱动的连接器通常会更加实时,但通常需要更多的数据库端设置。基于轮询的连接器通常不需要任何数据库端更改。使用基于轮询的连接器,您可以提高轮询频率,降低延迟以换取高数据库负载。
更多信息请查看连接器的文档。
- 如果 KsqlDb 流需要来自源的数据来连接数据,但仍然加载数据怎么办?
ksqlDB 通常按时间顺序处理您的数据。连接两个主题时,ksqlDB 将处理数据最旧的一侧。这通常意味着在引导表之前不会处理流数据。
- 源连接器是否会立即将更新/插入的数据发送到主题?
不确定这个问题与问题 #1 有何不同。
【讨论】: