【问题标题】:How does connector works in KSQLDB and Kafka?连接器在 KSQLDB 和 Kafka 中如何工作?
【发布时间】:2020-11-01 18:25:10
【问题描述】:

我没有足够的信息来了解源连接器在 KSQLDb 和 Kafka 中的工作原理。

  1. 将数据填充到 Kafka 主题的速度有多快?

  2. 如果 KsqlDb 流需要来自源的数据来连接数据,但仍然加载数据怎么办?

  3. 源连接器是否将更新/插入的数据发送到主题,它会立即发生?

您能帮我解决这些问题或提供一个好的教程,我可以在其中了解更多信息。

【问题讨论】:

    标签: apache-kafka ksqldb


    【解决方案1】:
    1. 数据填充到 Kafka 主题的速度有多快?

    取决于连接器。有些连接器是事件驱动的,有些使用轮询机制。事件驱动的连接器通常会更加实时,但通常需要更多的数据库端设置。基于轮询的连接器通常不需要任何数据库端更改。使用基于轮询的连接器,您可以提高轮询频率,降低延迟以换取高数据库负载。

    更多信息请查看连接器的文档。

    1. 如果 KsqlDb 流需要来自源的数据来连接数据,但仍然加载数据怎么办?

    ksqlDB 通常按时间顺序处理您的数据。连接两个主题时,ksqlDB 将处理数据最旧的一侧。这通常意味着在引导表之前不会处理流数据。

    1. 源连接器是否会立即将更新/插入的数据发送到主题?

    不确定这个问题与问题 #1 有何不同。

    【讨论】:

      猜你喜欢
      • 2021-05-15
      • 2021-04-12
      • 2021-08-16
      • 2021-09-24
      • 1970-01-01
      • 1970-01-01
      • 2021-09-28
      • 2022-10-13
      • 2016-04-24
      相关资源
      最近更新 更多