【发布时间】:2019-06-28 08:53:42
【问题描述】:
我将解释我的用例以了解要使用哪个数据库提取实用程序。
我需要每天以不同的频率从 SQL Server 表中提取数据。每个提取查询都是一个复杂的 SQL 语句,涉及 5-10 个连接等的表,原因有很多。总共有大约 20-30 个这样的语句。
所有这些提取查询可能需要每天以不同的频率运行多次。这取决于我们从源系统或其他情况接收数据的次数。
我们计划使用 Kafka 发布消息,让 Nifi 工作流知道何时更新 RDBMS 表并需要触发流(我不能只根据“增量”列值触发 Nifi 流,可能只有所有行更新场景,我们可能不会在表中创建新行)。
我应该如何设计我的 Nifi。有 ExecuteSQL/GenerateTableFetch/ExecuteSQLRecord/QueryDatabaseTable 各种可用的组件。哪一个最符合我的要求?
谢谢!
【问题讨论】:
标签: apache-nifi