用hdfsSink往hadoop写日志过程中,如果设置了lzo的压缩方式,则总提示以下错误:

Unsupported compression codec lzo.  Please choose from: [None, BZip2Codec, DefaultCodec, DeflateCodec, GzipCodec, Lz4Codec, SnappyCodec] 

 

可是明明已经把hadoop-lzo的jar包添加了呀,为啥不行呢,仔细看了下flume的源码Flume和HDFS的整合问题

 

原来flume需要读取hadoop的配置文件才能加载需要的编码类,因此将hadoop的core-silte.xml 复制到 flume的 conf 目录下,此问题得到解决。

 

实际只需要core-site.xml里面的  

io.compression.codecs  和 io.compression.codec.lzo.class  即可。

 

Flume和HDFS的整合问题

 

相关文章:

  • 2021-07-31
  • 2021-05-25
  • 2021-09-26
  • 2021-10-13
  • 2021-04-29
  • 2021-09-24
  • 2022-02-01
  • 2022-01-29
猜你喜欢
  • 2022-12-23
  • 2021-07-22
  • 2022-01-12
  • 2021-11-15
  • 2021-11-07
  • 2021-05-14
相关资源
相似解决方案