我可以使用 Apache NIFI 将文件传输到 HDFS 系统吗？ [关闭]答案

【问题标题】：May I use Apache NIFI for transfering files to HDFS system. [closed]我可以使用 Apache NIFI 将文件传输到 HDFS 系统吗？ [关闭]
【发布时间】：2017-06-28 09:50:28
【问题描述】：

如果是，请指导我执行此操作的基本步骤。我浏览页面并意识到使用 core-site.xml 可以做到这一点

【问题讨论】：

标签： apache file hdfs apache-nifi copying

【解决方案1】：

您可以使用 PutHDFS 处理器轻松地将文件传输到 HDFS 文件系统。

看看下面这个链接，

https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.hadoop.PutHDFS/

在此处理器中，您必须指定以下属性才能将文件传输到 HDFS。

1.Hadoop配置资源：-文件或逗号分隔的文件列表

/Hadoop/conf/core-site.xml,/Hadoop/conf/hdfs-site.xml,/Hadoop/conf/yarn-site.xml,/Hadoop/conf/mapred-site.xml

2.Directory：指定 HDFS 目录的位置

/FilesFromNiFi/

3.冲突策略：（追加/替换/忽略/失败）

append

例如：

如果您需要将文件从本地驱动器移动到 HDFS 意味着使用下面的 NiFi 工作流程

GetFile-->PutHDFS

GetFile-->Just give your input directory.

putHDFS-->Specify your HDFS location

您需要根据下图将处理器拖到 UI 中。，

参考此链接将这两个处理器GetFile和putHDFS拖入NiFi UI

https://nifi.apache.org/docs/nifi-docs/html/user-guide.html#adding-components-to-the-canvas

http://zdatainc.com/2016/02/hello-nifi-data-orchestration-using-hortonworks-dataflow-hdf/

如果您遇到任何问题，请告诉我。

【讨论】：

我无法在 Apache NiFi 中找到上述组件（GetFile PutHDFS）？一些设置包括那个？
我已经编辑了我的答案。您必须将这两个处理器拖到 UI 中，以回答附加在答案中的链接
感谢您的回复。我的 NiFi 二进制文件已损坏，我只看到 7 个处理器作为选项可供选择。我已纠正上述问题，现在它工作正常，我可以在选项中看到 183 个奇数处理器。