【问题标题】:Does Kafka stand alone connector syncs automatically or it needs restart every timeKafka独立连接器是否自动同步或每次都需要重新启动
【发布时间】:2019-07-31 23:30:09
【问题描述】:

我是卡夫卡的新手。我刚刚通过参考 confluent doc/guide 中的步骤配置了一个 Kafka 独立连接器。

Kafka 连接器的工作是从文件-test.txt 同步数据。 如果我更新 test.txt 中的任何内容,它不会自动推送到主题 - 连接测试,而如果我重新启动连接器,来自 test.txt 的更新消息会被检测到并推送到主题 - 连接测试。

所以,我怀疑我是否必须安排此连接器来检测更改,或者它会根据某个时间间隔在内部自动执行此工作。

【问题讨论】:

  • 请提供您的 kafka-connect 配置以及如何启动连接器。

标签: apache-kafka apache-kafka-connect


【解决方案1】:

简答:正在运行的连接器会自动同步

如果我理解正确,您希望将文件 text.txt 的内容推送到 kafka,从而允许您的 kafka-connector 从中读取新的 dato。

启动一个新的生产者,它将文件内容推送到您的主题:

$ kafka-console-producer.sh --broker-list localhost:9092 --topic connect-test
--new-producer < text.txt

添加新消息:

$ echo "new message" >> text.txt

并且此消息将显示在主题中。

如果您的 kafka-connector 正在运行并正确配置,它将从主题中检索消息。

【讨论】:

  • 假设我已经为 Kafka 配置了 JDBC 连接器。无论数据库发生什么事件,JDBC 连接器都会将其发送到集群(我假设)。如果 OP 将一行的内容(即“新消息”)修改为“最新消息”,kafka-connector 是否会识别此类更新并将其发送给代理?
  • 我认为默认文件连接器不支持该功能。此外,编写一个自定义连接器来做这样的事情也很困难。但是,如果将数据流式传输到数据库中,那么 Kafka 的 JDBC 连接器将能够识别此类事件。
猜你喜欢
  • 1970-01-01
  • 2019-07-21
  • 2012-03-06
  • 2023-04-04
  • 2021-07-18
  • 2016-08-20
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多