如何在 Apache NiFi 中配置 putHDFS 处理器，以便我可以通过网络将文件从本地计算机传输到 HDFS？答案

【问题标题】：How to configure putHDFS processor in Apache NiFi such that I could transfer file from a local machine to HDFS over the network?如何在 Apache NiFi 中配置 putHDFS 处理器，以便我可以通过网络将文件从本地计算机传输到 HDFS？
【发布时间】：2016-08-11 14:15:30
【问题描述】：

我的本地 Windows 机器上的文件中有数据。本地机器上运行着 Apache NiFi。我想使用 NiFi 通过网络将此文件发送到 HDFS。如何在本地计算机上在 NiFi 中配置 putHDFS 处理器，以便我可以通过网络将数据发送到 HDFS？

谢谢！

【问题讨论】：

标签： hdfs apache-nifi

【解决方案1】：

您需要将 core-site.xml 和 hdfs-site.xml 从您的一个 hadoop 节点复制到运行 NiFi 的机器上。然后配置PutHDFS，使配置资源为“/path/to/core-site.xml,/path/to/hdfs-site.xml”。这就是 NiFi 所需的全部内容，这些文件包含连接到 Hadoop 集群所需的所有信息。

您还需要确保运行 NiFi 的机器可以通过网络访问 Hadoop 集群中的所有机器。您可以查看这些配置文件并找到任何主机名和 IP 地址，并确保可以从运行 NiFi 的机器访问它们。

【讨论】：

谢谢布莱恩！您的解决方案有所帮助。 :-)

【解决方案2】：

使用 GetFile 处理器或 ListFile/FetchFile 的组合，可以将此文件从本地磁盘导入 NiFi 并将其传递到 PutHDFS 处理器。 PutHDFS 处理器依赖于其配置中关联的 core-site.xml 和 hdfs-site.xml 文件。

【讨论】：