【问题标题】:JDBC Confluent kafka Connector and Topic per schema每个模式的 JDBC Confluent kafka 连接器和主题
【发布时间】:2018-09-14 14:41:14
【问题描述】:

我们最近开始使用 Confluent Kafka-JDBC 连接器来导入 RDBMS 数据。

作为默认配置设置的一部分,似乎为架构中的每个表创建了一个主题。

我想知道有没有办法

  1. 按架构创建主题,而不是每个表。如果启用了每个模式的主题,那么是否可以基于表支持模式演化(使用模式注册表)?

  2. 如果每个模式的主题是不可能的,那么是否有关于如何管理数百或数千个主题的指南?考虑到表格数量与主题数量之间存在一对一的映射关系?

提前致谢,

【问题讨论】:

    标签: apache-kafka apache-kafka-connect confluent-platform confluent-schema-registry


    【解决方案1】:

    为每个模式而不是每个表创建主题。

    不 - 它要么是 n 个表 -> n 个主题,要么是 1 个查询 -> 1 个主题。

    关于如何管理数百或数千个主题的任何指南?

    为它们采用标准命名模式。根据需要使用特定于主题的配置。

    【讨论】:

    • 如果 Zookeeper 拥有关于模式注册表的元数据,它可以管理数千个主题吗?由于主题数以千计,Zookeeper 节点故障的恢复是否需要更多时间?上述问题是否有任何注意事项?
    猜你喜欢
    • 1970-01-01
    • 2018-12-19
    • 2020-02-05
    • 2019-02-25
    • 2019-06-11
    • 2020-07-19
    • 1970-01-01
    • 1970-01-01
    • 2018-10-01
    相关资源
    最近更新 更多