【问题标题】:Migrating topics,ACL and messages from apache kafka to confluent platform将主题、ACL 和消息从 apache kafka 迁移到融合平台
【发布时间】:2019-03-10 22:21:19
【问题描述】:
我们正在将我们的应用程序从 Apache Kafka 迁移到 Confluent Platform。
- Apache Kafka 版本:1.1.0
- 汇合:4.1.0
尝试了这些选项:
- 手动复制 zookeeper 日志和 Kafka 日志 - 不是最佳方式
因为数量和数据的正确性。
- Mirror Maker - 这将复制新创建的主题和 ACL。它不会
迁移 Apache Kafka 中的旧细节
请就此提出更好的方法。
【问题讨论】:
标签:
apache-kafka
data-migration
confluent-platform
【解决方案1】:
您可以保留现有的 Kafka 和 Zookeeper 安装。
Confluent 不会改变这些运行或管理数据的任何方式。
您可以配置 REST 代理、Schema Registry、控制中心、KSQL 等以使用您现有的引导服务器或 Zookeeper 连接;不需要迁移任何东西,您只是添加了恰好由 Confluent 提供的额外消费者/生产者服务。
如果您以后计划升级您的代理,那么您可以从 Confluent 包中启动新的代理,迁移分区,然后关闭旧的。 Zookeeper 也是如此,但请确保在此过程中至少有 2 个 up,并且在转换后始终有奇数个可用