卡夫卡连接不适用于文件流答案

【问题标题】：Kafka connect not working for file streaming卡夫卡连接不适用于文件流
【发布时间】：2017-01-14 23:53:56
【问题描述】：

我一直在使用 Kafka connect 使用以下指南进行融合平台

Kafka connect quickstart

但是它不再更新sink文件了，源文件的任何改动都没有写入kafka topic。

我已经删除了所有的 tmp 文件，但没有任何变化。

提前致谢

【问题讨论】：

标签： streaming apache-kafka apache-kafka-connect

【解决方案1】：

启动一个新的文件源连接器，并在一个新的位置存储偏移量。这个连接器是一个演示，除了一个只获取附加更新的简单文件之外，它实际上不处理任何东西。请注意，除了简单的演示之外，您不应使用此连接器做任何事情。如果您需要用于生产的东西，请查看连接器集线器。

【讨论】：

如果“演示”的目的是证明连接器可以在没有解释或错误的情况下不可撤销地失败......任务完成。删除和重新添加连接器，删除和重新创建主题，或者重新启动所有连接节点都不会让这个简单的连接器再次工作。然而，只需更改名称即可获得新的连接器，直到它也中断。日志中没有错误或线索。我认为可以公平地说文件接收器连接器甚至不适合演示......尤其是演示。它证明了系统是多么脆弱。
我的意思是，已经 4 年多了。你真的应该考虑尝试一个是无数其他演示。链接到原始帖子的文档甚至被标记为指向新内容。也知道我希望你在生活中找到幸福，给你一个虚拟的拥抱。 docs.confluent.io/home/tutorials.html

【解决方案2】：

对于 OP，我在 5 分钟前就遇到过这种情况，但是当我重新启动连接器时一切正常，test.sink.txt 和消费者都添加了新行。因此，简而言之，只需重新启动连接器即可。

【讨论】：

【解决方案3】：

FileStreamSource/Sink 在它正常工作并且您已经重新启动了 zookeeper、kafka 服务器和连接器后无法工作，但仍然无法工作，那么问题出在 kafka 目录中的 CONNECT.OFFSETS 文件。您应该删除它并创建一个新的空的。

【讨论】：

【解决方案4】：

我以前也遇到过同样的问题。但是如下更正属性文件中输入和输出文件的路径对我有用。它从输入文件（test.txt）流式传输到输出文件（test.sink.txt）。

name=local-file-source
connector.class=FileStreamSource
tasks.max=1
file=/home/mypath/kafka/test.txt
topic=connect-test

name=local-file-sink
connector.class=FileStreamSink
tasks.max=1
file=/home/mypath/kafka/test.sink.txt
topics=connect-test

【讨论】：