业务场景:单个flume客户端无法消费某个数据量很大的topic,因此起两个flume去消费同一个topic

数据流:kafka--->flume---->oss(阿里云的分布式存储服务,可以是hdfs)

01.conf 和 02.conf配置的topic和group.id以及数据存储路径都保持一致,不同的是文件前缀

 01.conf配置

kafka同一个topic和gruopid下的双flume客户端消费测试

02.conf配置

kafka同一个topic和gruopid下的双flume客户端消费测试

我这边在kafka的生产端生产了少量的数据,oss中的数据为

kafka同一个topic和gruopid下的双flume客户端消费测试

经查看数据,可以确定两个flume客户端完整的消费了所有数据,无重复消费和漏消费

相关文章:

  • 2022-12-23
  • 2021-11-20
  • 2021-07-18
  • 2021-07-13
  • 2022-02-08
  • 2022-12-23
  • 2021-04-07
  • 2021-11-18
猜你喜欢
  • 2022-12-23
  • 2021-09-21
  • 2022-01-04
  • 2022-12-23
  • 2021-08-01
  • 2021-07-07
  • 2022-12-23
相关资源
相似解决方案