【问题标题】:Kafka Connect to access two sinks (ftp and sql)Kafka Connect 访问两个接收器(ftp 和 sql)
【发布时间】:2019-06-04 07:21:45
【问题描述】:

我需要使用 kafka 连接接收器将文件数据发送到 ftp 服务器,在服务器接收到整个文件后,我还必须发送确认以更改数据库中这些任务的状态。

我想知道去这里的最佳方式是什么,我最初考虑创建一个自定义 ftp kafka 连接,它也会改变任务数据库状态。 这是最好的方式,还是这里有其他选择?

【问题讨论】:

    标签: apache-kafka ftp apache-kafka-connect


    【解决方案1】:

    驱动更新任务数据库状态的需求是什么?

    在我的脑海中,您可以编写一个自定义应用程序来跟踪 FTP 接收器与可用消息的偏移量,并根据需要更新数据库。

    值得注意的是,https://www.confluent.io/product/control-center/ 可以跟踪 Kafka Connect 管道中的消息传递,并对延迟发出警报。

    【讨论】:

      猜你喜欢
      • 2016-12-26
      • 2020-05-29
      • 2019-06-17
      • 2019-02-23
      • 2020-05-13
      • 2022-11-24
      • 2019-05-14
      • 2018-02-06
      • 2019-09-28
      相关资源
      最近更新 更多