1、案例需求
使用 Flume-1 监控文件变动,Flume-1 将变动内容传递给 Flume-2,Flume-2 负责存储 到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3,Flume-3 负责输出到 Local FileSystem。 2)

2、需求分析:
Flume 企业开发案例 复制和多路复用
3、实现步骤:
准备工作
在/opt/module/flume/job 目录下创建 group1 文件夹
Flume 企业开发案例 复制和多路复用
在/opt/module/datas/目录下创建 flume3 文件夹
Flume 企业开发案例 复制和多路复用
创建 flume-file-flume.conf
配置 1 个接收日志文件的 source 和两个 channel、两个 sink,分别输送给 flume-flume-hdfs 和 flume-flume-dir。

编辑配置文件
Flume 企业开发案例 复制和多路复用
添加如下内容
Flume 企业开发案例 复制和多路复用
2.创建 flume-flume-hdfs.conf
配置上级 Flume 输出的 Source,输出是到 HDFS 的 Sink。
编辑配置文件
Flume 企业开发案例 复制和多路复用
添加如下内容
Flume 企业开发案例 复制和多路复用Flume 企业开发案例 复制和多路复用
3.创建 flume-flume-dir.conf
配置上级 Flume 输出的 Source,输出是到本地目录的 Sink。
编辑配置文件
Flume 企业开发案例 复制和多路复用
添加如下内容
Flume 企业开发案例 复制和多路复用
Flume 企业开发案例 复制和多路复用
提示:输出的本地目录必须是已经存在的目录,如果该目录不存在,并不会创建新的目录。

4.执行配置文件
分别启动对应的 flume 进程:flume-flume-dir,flume-flume-hdfs,flume-file-flume。
Flume 企业开发案例 复制和多路复用
5.启动 Hadoop 和 Hive
Flume 企业开发案例 复制和多路复用
6.检查 HDFS 上数据
Flume 企业开发案例 复制和多路复用
7.检查/opt/module/datas/flume3 目录中数据
Flume 企业开发案例 复制和多路复用

相关文章:

  • 2021-06-29
  • 2021-08-25
  • 2021-11-25
  • 2021-06-03
  • 2021-11-27
  • 2021-04-11
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2021-09-06
  • 2021-04-05
  • 2021-11-26
  • 2021-10-01
  • 2022-01-22
  • 2021-10-15
相关资源
相似解决方案