NiFi 如何从 NiFi Flow 查询内容存储库

【问题标题】：NiFi How to query Content Repository from NiFi FlowNiFi 如何从 NiFi Flow 查询内容存储库
【发布时间】：2019-03-25 12:44:01
【问题描述】：

我有一个用例，我需要从另一个流中使用 FlowFile。

据我所知，所有流文件都保存到内容存储库中。

因此，例如，我的第一个流程从 DB 读取数据，执行一些转换并放入 Hive。

我的第二个流程需要获取那些转换后的流程文件并将它们放到另一个地方或执行一些过滤等。

如何从 NiFi 流中的内容回购中获取这些流文件？

【问题讨论】：

标签： hadoop apache-nifi hortonworks-data-platform flow hortonworks-dataflow

【解决方案1】：

你错了，流文件的内容是保存在内容存储库中的。您无需查询内容存储库即可使用这些流文件。我假设您使用的是PutHiveQL，因此只需为您的下一个流使用success 关系。

示例：ExecuteSQL ->（成功）Transform Process Group ->（输出）PutHiveQL ->（成功）-> 下一个流程

类似这样的：

【讨论】：

谢谢，但是如果我想在执行第一个流程的第二天之后在另一个流程中使用“转换”的结果怎么办？我不想再次重新执行第一个流程...
您可以使用ExecuteScript 惩罚这些流文件一天，或者只安排下一个流的第一个处理器每天运行一次。
我的意思是我的第一个流程不知道它的流程文件可能会在另一个流程中使用。流未连接。那么，这意味着，我无法从内容存储库中获取流文件并使用它们？
这将是非常困难的。为什么不以某种方式连接这两个流程？您不必直接执行此操作，您可以使用 Kafka 之类的第 3 方来完成此操作

猜你喜欢

1970-01-01
2019-07-08
1970-01-01
1970-01-01
2019-10-06
2020-12-08
1970-01-01
1970-01-01
1970-01-01

相关资源

下载 2022-12-25
下载 2023-01-23
下载 2023-01-03

最近更新更多

热门标签

Java Python linux javascript Mysql C# Docker 算法前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库数据结构大数据 js 机器学习微服务 Android Go 程序员面试 JVM ASP.net core 云原生人工智能后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习多线程 React 架构 devops 爬虫云计算 Spring Boot LeetCode