一、kafka和flume的安装
apache-flume-1.5.2-bin
kafka_2.10-0.10.2.1
kafka安装部署
flume学习01—安装

二、flume监控某个目录,将数据发送kafka

2.1、flume source 使用SpoolDir 监控一个目录下的文件内容

SpoolDir监控目录下文件, 处理后的文件修改文件名
kafka整合flume

问题: 如果上传来的文件,还没有上传完,spoolDir扫描到改文件,

三、在slave2上 测试消费kafka数据
./bin/kafka-console-consumer.sh –bootstrap-server master:9092,slave1:9092,slave2:9092 –topic topic2

相关文章:

  • 2022-01-23
  • 2021-05-20
  • 2022-02-07
  • 2021-07-22
  • 2022-12-23
  • 2022-12-23
  • 2021-05-14
  • 2021-09-25
猜你喜欢
  • 2022-12-23
  • 2021-09-24
  • 2022-02-01
  • 2021-09-03
  • 2022-02-26
  • 2021-06-10
  • 2022-12-23
相关资源
相似解决方案