采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去
根据需求，首先定义以下3大要素
l.采集数据源，即source——监控文件目录 : spooldir
2.下沉目标，即sink——HDFS文件系统 : hdfs sink
3.source和sink之间的传递通道——channel，可用file channel 也可以用内存channel
配置采集方案:
相关文章：
相似解决方案
热门标签
采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去
根据需求，首先定义以下3大要素
l.采集数据源，即source——监控文件目录 : spooldir
2.下沉目标，即sink——HDFS文件系统 : hdfs sink
3.source和sink之间的传递通道——channel，可用file channel 也可以用内存channel
配置采集方案:
相关文章：