使用 Flume 收集非“UTF-8”文件的问题 - Spooldir 类型答案

【问题标题】：Problems with non-"UTF-8" file collection using flume - Spooldir type使用 Flume 收集非“UTF-8”文件的问题 - Spooldir 类型
【发布时间】：2016-11-24 09:07:17
【问题描述】：

我的水槽假脱机目录包含非“UTF-8”文件。所以当我尝试收集它时，我得到一个 Java.nio.charset.MalformedInputException 错误。更改 .conf 文件的编码选项也会导致错误。而且我必须使用 spooldir 类型。如何收集非“UTF-8”文件。

enter image description here

【问题讨论】：

标签： encoding utf-8 cloudera flume

【解决方案1】：

我们的日志文件的编码是 Latin5（土耳其语）

通过在 conf 文件中添加以下行来修复它：

AGENTNAME.sources.SOURCENAME.inputCharset = ISO-8859-9

【讨论】：