Kafka 数据流 ID

Question

我是 Kafka 新手，正在尝试为我的 apache httpd 日志构建到 mongodb 的管道。

我有使用 Kafka Output 从 Filebeat 生成的数据。然后，我使用 Kstreams 从主题中读取数据并将数据映射到数据并流式传输到不同的主题。然后使用 Kafka Connect 将数据发送到数据库 (MongoDB)。不幸的是，我来自 Filebeat 的数据没有 ID。

如何为他们创建 ID，因为我想创建一个唯一的 ID 并将其插入到文档中，然后再将其下沉到 mongodb？我希望这可以发生在 mapValues 转换中；

Answer 1

我认为您可以结合使用分区和偏移量来为每条消息创建一个唯一的 ID。如果您想让主题在各个主题中独一无二，您可能需要添加主题。