NiFi：使用 HDFS 文件作为查找

Question

我需要在 NiFi 作业中使用 HDFS 文件作为查找。这个 HDFS 文件包含两个字段 id、name，我需要通过我的流程传递 IDS 并从 HDFS 文件中检索 Name。我的 HDFS 文件采用 parquet snappy 格式。请让我知道我可以通过查找处理器来实现这一点还是应该采用不同的方法。

任何示例工作流程都会非常有帮助。

提前谢谢大家。

库马尔

Answer 1

HDFS 作为查找可能效率非常低，这可能是我们没有控制器服务的原因。您从哪里获得要查找的文件？也许您可以使用 NiFi 获取 HDFS 文件并进行“反向查找”，在其中使用您尝试查找的字段来丰富 HDFS 文件？

话虽如此，NiFi 确实有 HBase 查找服务，因此另一种方法是将您的 HDFS 文件放入 HBase 并以这种方式进行查找。