【问题标题】:Which Nifi processor to use for RDBMS Extract哪个 Nifi 处理器用于 RDBMS 提取
【发布时间】:2019-06-28 08:53:42
【问题描述】:

我将解释我的用例以了解要使用哪个数据库提取实用程序。

  1. 我需要每天以不同的频率从 SQL Server 表中提取数据。每个提取查询都是一个复杂的 SQL 语句,涉及 5-10 个连接等的表,原因有很多。总共有大约 20-30 个这样的语句。

  2. 所有这些提取查询可能需要每天以不同的频率运行多次。这取决于我们从源系统或其他情况接收数据的次数。

  3. 我们计划使用 Kafka 发布消息,让 Nifi 工作流知道何时更新 RDBMS 表并需要触发流(我不能只根据“增量”列值触发 Nifi 流,可能只有所有行更新场景,我们可能不会在表中创建新行)。

我应该如何设计我的 Nifi。有 ExecuteSQL/GenerateTableFetch/ExecuteSQLRecord/QueryDatabaseTable 各种可用的组件。哪一个最符合我的要求?

谢谢!

【问题讨论】:

    标签: apache-nifi


    【解决方案1】:

    我建议您使用 ExecuteSQL。您可以从属性设置查询或使用属性进行组合。最简单的方法是创建 json,然后解析该 json 并创建属性。检查此示例,这是从文件创建的 sql,您可以调整它以从 kafka link 创建它

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2011-12-14
      • 1970-01-01
      • 2020-03-01
      • 1970-01-01
      • 1970-01-01
      • 2018-08-11
      • 2017-07-18
      • 2018-09-27
      相关资源
      最近更新 更多