所有的配置都采用图文的形式,希望小伙伴会喜欢^_^

环境准备:

kafka_2.11-1.0.1

elasticsearch-6.2.3

streamsets-datacollector-3.4.1

zookeeper-3.4.10

注意事项:

1、若只读取一个topic的数据,origins使用Kafka Consumer;若要同时读取多个topic,则使用Kafka Multitopic

2kafka若要实现读取历史数据,要添加auto.offset.reset=earliest

第一步.Origins: 配置Kafka,选择Kafka Consumer

StreamSets数据流从Kafka到elasticsearch

StreamSets数据流从Kafka到elasticsearch

StreamSets数据流从Kafka到elasticsearch

StreamSets数据流从Kafka到elasticsearch

第二步.Destinations配置:

StreamSets数据流从Kafka到elasticsearch

StreamSets数据流从Kafka到elasticsearch

StreamSets数据流从Kafka到elasticsearch

StreamSets数据流从Kafka到elasticsearch

StreamSets数据流从Kafka到elasticsearch

错误消息写到kafka

StreamSets数据流从Kafka到elasticsearch

StreamSets数据流从Kafka到elasticsearch

StreamSets数据流从Kafka到elasticsearch

 

相关文章:

  • 2022-01-01
  • 2021-10-14
  • 2021-04-28
  • 2022-01-12
  • 2022-02-16
  • 2022-12-23
  • 2021-06-20
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2021-10-28
  • 2022-12-23
  • 2021-09-13
  • 2022-12-23
  • 2021-07-12
  • 2021-08-20
相关资源
相似解决方案