【问题标题】:Confluent Elasticsearch sink connector Indexname manipulationConfluent Elasticsearch sink 连接器索引名操作
【发布时间】:2020-07-28 13:27:04
【问题描述】:

我还是 kafka 的新手,正在寻找以下问题的解决方案: 使用 Kafka Connect SMT,可以操作主题的一部分或其名称。 有没有办法从数据流中获取日期并从中构建索引名称? 例如:

{"transmitdate": "2020-03-20T14: 00: 00"} -> index name: foo-2020-03-20

谢谢。

【问题讨论】:

    标签: elasticsearch apache-kafka apache-kafka-connect confluent-platform


    【解决方案1】:

    所以我自己找到了答案。 连接器包中的 MessageTimestampRouter 非常适合该任务。

    这是一个链接:

    https://docs.confluent.io/current/connect/transforms/messagetimestamprouter.html#messagetimestamprouter

    【讨论】:

      猜你喜欢
      • 2021-04-07
      • 2020-07-14
      • 2018-12-29
      • 2020-08-12
      • 1970-01-01
      • 1970-01-01
      • 2022-05-31
      • 2020-01-07
      • 2018-10-24
      相关资源
      最近更新 更多