【问题标题】：HDF NIfi - Does Nifi writes provenance/data on HDP Node?HDF NIfi - Nifi 是否在 HDP 节点上写入出处/数据？
【发布时间】：2017-06-11 21:25:09
【问题描述】：
你好
我有带有 3 个 Nifi 实例的 HDF 集群，它在 HDP 集群上提供午餐作业（Hive/Spark）。通常 nifi 会将所有信息写入本地机器上可用的不同存储库。
我的问题是 - 在访问 HDFS、Hive 或 Spark 服务时，nifi 是否会写入任何数据、出处信息或是否溢出到 HDP 节点（例如 HDP 集群中的数据节点）？
谢谢
【问题讨论】：
标签：
apache-nifi
hortonworks-dataflow
【解决方案1】：
Apache NiFi 不将 HDFS 用于其任何内部存储库/数据。 NiFi 和 Hadoop 服务之间的唯一交互是通过与这些服务交互的特定处理器，例如 PutHDFS、PutHiveQL 等。
可以使用 SiteToSiteProvenanceReportingTask 将来源数据从 NiFi 中推出，然后存储在任何合适的位置（HDFS、HBase 等）。