【问题标题】:Migrating topics,ACL and messages from apache kafka to confluent platform将主题、ACL 和消息从 apache kafka 迁移到融合平台
【发布时间】:2019-03-10 22:21:19
【问题描述】:

我们正在将我们的应用程序从 Apache Kafka 迁移到 Confluent Platform。

  • Apache Kafka 版本:1.1.0
  • 汇合:4.1.0

尝试了这些选项:

  1. 手动复制 zookeeper 日志和 Kafka 日志 - 不是最佳方式 因为数量和数据的正确性。
  2. Mirror Maker - 这将复制新创建的主题和 ACL。它不会 迁移 Apache Kafka 中的旧细节

请就此提出更好的方法。

【问题讨论】:

    标签: apache-kafka data-migration confluent-platform


    【解决方案1】:

    您可以保留现有的 Kafka 和 Zookeeper 安装。

    Confluent 不会改变这些运行或管理数据的任何方式。

    您可以配置 REST 代理、Schema Registry、控制中心、KSQL 等以使用您现有的引导服务器或 Zookeeper 连接;不需要迁移任何东西,您只是添加了恰好由 Confluent 提供的额外消费者/生产者服务。

    如果您以后计划升级您的代理,那么您可以从 Confluent 包中启动新的代理,迁移分区,然后关闭旧的。 Zookeeper 也是如此,但请确保在此过程中至少有 2 个 up,并且在转换后始终有奇数个可用

    【讨论】:

      猜你喜欢
      • 2017-02-03
      • 2019-05-09
      • 1970-01-01
      • 1970-01-01
      • 2019-02-23
      • 2023-03-09
      • 1970-01-01
      • 2017-03-05
      • 1970-01-01
      相关资源
      最近更新 更多