【发布时间】:2019-06-04 07:21:45
【问题描述】:
我需要使用 kafka 连接接收器将文件数据发送到 ftp 服务器,在服务器接收到整个文件后,我还必须发送确认以更改数据库中这些任务的状态。
我想知道去这里的最佳方式是什么,我最初考虑创建一个自定义 ftp kafka 连接,它也会改变任务数据库状态。 这是最好的方式,还是这里有其他选择?
【问题讨论】:
标签: apache-kafka ftp apache-kafka-connect
我需要使用 kafka 连接接收器将文件数据发送到 ftp 服务器,在服务器接收到整个文件后,我还必须发送确认以更改数据库中这些任务的状态。
我想知道去这里的最佳方式是什么,我最初考虑创建一个自定义 ftp kafka 连接,它也会改变任务数据库状态。 这是最好的方式,还是这里有其他选择?
【问题讨论】:
标签: apache-kafka ftp apache-kafka-connect
驱动更新任务数据库状态的需求是什么?
在我的脑海中,您可以编写一个自定义应用程序来跟踪 FTP 接收器与可用消息的偏移量,并根据需要更新数据库。
值得注意的是,https://www.confluent.io/product/control-center/ 可以跟踪 Kafka Connect 管道中的消息传递,并对延迟发出警报。
【讨论】: