需要安排 MongoDB kafka 连接答案

【问题标题】：Need to schedule MongoDB kafka connect需要安排 MongoDB kafka 连接
【发布时间】：2022-09-23 21:56:48
【问题描述】：

我们正在开源 Apache Kafka 连接器之上使用 mongodb kafka 连接器，用于从 Mongo 到 HDFS 的 json 数据的数据摄取。我们有 kafka 消费者，它读取 kafka 中的数据更改并将它们写入 hdfs 文件。

我们希望在不同时间的特定时间安排源连接器。

我们需要根据预定日期触发 kafka 消息。

【解决方案1】：

我们可以使用来自 confluent 的源连接器的配置属性来处理这种情况，并自定义轮询间隔

关联：

==> poll.await.time.ms 可以是一个解决方案

否则，有 Kafka 消息调度器：

使用调度程序自动使用来自 Kafka 的数据

创建新调度程序时，vkconfig 脚本会执行以下步骤：

使用您为调度程序指定的名称创建新的 Vertica 架构。您可以在配置期间使用此名称来标识调度程序。

在新创建的模式中创建管理 Kafka 数据负载所需的表。

【讨论】：