如何将 apache nifi 摄取处理器集成/连接到 Apache kafka？答案

【问题标题】：how to integrate/connect apache nifi ingestion processor to Apache kafka?如何将 apache nifi 摄取处理器集成/连接到 Apache kafka？
【发布时间】：2018-10-31 19:22:39
【问题描述】：

我想将数据从 Apache nifi 的摄取处理器之一推送到 Kafka，然后再推送到 HDFS 进行存储。

Apache nifi 的摄取处理器可以和Kafka 连接吗？

【问题讨论】：

bryanbende.com/development/2016/09/15/…

标签： apache-kafka apache-nifi

【解决方案1】：

Nifi 附带多个 Kafka 处理器。

添加一个时，只需在搜索框中输入 Kafka。使用与您的 Kafka 安装相匹配的版本。例如，绝对不要在安装 Kafka 0.10.x 的情况下运行 Kafka08 版本处理器（称为 GetKafka 和 PutKafka）

当然，您需要设置引导服务器，然后设置您关心的任何其他生产者属性，例如主题名称

将 ConsumeKafka 处理器附加到 PutHdfs

旁注Kafka Connect HDFS 使用纯基于 Kafka 的 API 方法将数据从 Kafka 传送到 Hadoop。除非您正在摄取其他类型的数据，否则您不需要 Nifi

【讨论】：

【解决方案2】：

您可以使用 PutKafka 处理器将数据从 Nifi 推送到 Kafka。在“添加处理器”对话框中，键入 PutKafka 以查找处理器。

对于 HDFS，您可以使用 PutHDFS 处理器。您需要 core-site.xml 和 hdfs-site.xml 文件才能使用 PutHDFS 处理器。您可以从 Ambari 中的 HDFS 菜单下载 HDFS 配置文件。在 HDFS 菜单中，单击操作并选择下载客户端配置。你应该用逗号分隔文件位置。

【讨论】：