如何使用 Flume 下沉话题，从 kafka 到 kafka？答案

【问题标题】：How sink topic, kafka to kafka, using Flume?如何使用 Flume 下沉话题，从 kafka 到 kafka？
【发布时间】：2018-11-23 02:46:47
【问题描述】：

我正在尝试将日志从主题传输到另一个主题。我需要使用 Flume 将 Kafka 连接到 Kafka。往下看：

#
# Flume Conf
#

a1.sources = s1
a1.sinks = k1
a1.channels = c1


# Kafka Source

a1.sources.s1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.s1.kafka.bootstrap.servers = kafka:9092
a1.sources.s1.kafka.topics = apache


# Kafka Sink

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.bootstrap.servers = kafka:9092


# Use a channel which buffers events in memory

a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000000
a1.channels.c1.transactionCapacity = 1000000


# Bind the source and sink to the channel

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

接收器没有创建。

【问题讨论】：

为什么不使用 MirrorMaker（或 Kafka 内置的其他工具）？
这支持Kerberos？ @cricket_007
如果你想在这里继续，有什么问题/错误？接收器主题配置在哪里？
是的，MirrorMaker 只是常规生产者和消费者的包装器。我不知道 JAAS 东西和 Krb5 JVM 设置的所有属性，但是它支持它
我会试试这个。非常感谢@cricket_007

标签： apache-kafka flume-ng

【解决方案1】：

如果你想将数据从一个Kafka集群复制到另一个，有比Flume更好的方法，包括：

MirrorMaker，正如 @cricket_007 提到的（开源，Apache Kafka 的一部分）
Confluent 的Replicator（商业工具，30 天免费试用）
uReplicator（来自优步的open sourced）
Mirus（来自 Salesforce 的open sourced）
Brucke（开源）

如果你想要一个真的肮脏的黑客，你也可以do something with kafkacat and nc。

免责声明：我为 Confluent 工作。

【讨论】：