【问题标题】:Is it possible to read from old version of Kafka and write into new version of Kafka?是否可以从旧版本的 Kafka 读取并写入新版本的 Kafka?
【发布时间】:2017-09-15 10:15:48
【问题描述】:

我有一个要求,我必须从 0.8.2 版本的 Kafka 读取并处理数据并写入 0.10.2 版本的 Kafka。

请帮我找出解决办法。

【问题讨论】:

  • 检查 Kafka 镜像。更多信息请访问cwiki.apache.org/confluence/pages/…
  • 镜像只在同一个集群环境中有用。但就我而言,这两个 Kafka 是不同的集群,甚至版本也不同。

标签: apache-kafka kafka-consumer-api kafka-producer-api apache-kafka-connect


【解决方案1】:

不确定这是最好的选择,但您可以使用 2 台机器(未经测试):

框 1:消费者然后是 netcat

bin/kafka-console-consumer.sh --zookeeper myzookeeper:2181 --topic test --from-beginning | nc 1.2.3.4 5600

框 2 (IP 1.2.3.4):netcat 然后是生产者

nc -l -p 5600 |  bin/kafka-console-producer.sh --zookeeper myotherzookeeper:2181 --topic test

【讨论】:

    【解决方案2】:

    使用kafka MirrorMaker.你可以将0.8.2的数据镜像到0.10.2,然后处理0.10.2的数据

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2019-11-21
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-02-24
      • 2017-02-17
      • 1970-01-01
      相关资源
      最近更新 更多