Kafka 连接 HDFS 接收器错误创建 WAL 失败答案

【问题标题】：Kafka connect HDFS sink ERROR failed creating a WALKafka 连接 HDFS 接收器错误创建 WAL 失败
【发布时间】：2019-01-21 08:35:40
【问题描述】：

我正在使用 Kafka 连接 HDFS。当我尝试运行连接器时，出现以下异常：

错误创建 WAL 写入器失败：无法为客户端 [IP] 的 [DFSClient_NONMAPREDUCE_208312334_41] 创建文件[/path/log]，因为此文件已由 [DFSClient_NONMAPREDUCE_165323242_41] 创建

有什么建议吗？

【问题讨论】：

【解决方案1】：

唯一对我们有用的解决方法是清理 hdfs 中的 wal 日志位置并重新启动连接器。

【讨论】：

【解决方案2】：

除了清理 wal 日志和连接器重新启动的解决方法。我们还在测试将 hadoop 本地版本 2.73 升级到 2.7.7，并将 kafka-hdfs 版本从其当前正在测试的接收器连接器升级到 5.5，到目前为止，wal 问题没有再次出现。

【讨论】：