Nifi 从 Oracle 问题中获取数据

Question

我需要从 oracle 获取数据并上传到谷歌云存储。

我正在使用 executeSql proecssor，但它对于大型表失败，甚至对于具有 100 万条大约 45mb 大小的记录的表也需要 2 小时才能提取。

使用restapi将表名传递给listenHttp，然后将它们传递给executeSql。我不能使用 QueryDatabase，因为表的数量是动态的，并且使用 UI 和 Nifi RestUi 启动获取的调用也是动态的。

请在 ExecuteSql 处理器中建议任何调整参数。

Answer 1

我相信您是在谈论拥有较小流文件的能力，并可能在处理器仍在处理（大）结果集时将它们发送到下游。对于 QueryDatabaseTable，这是在 NiFi 1.6.0（通过 NIFI-4836）和即将发布的版本（NiFi 1.8.0，通过 NIFI-1251）中添加的，此功能也可用于 ExecuteSQL。

您应该能够使用GenerateTableFetch 来做您想做的事。在那里您可以设置分区大小（最终将是每个流文件的行数），如果您想在每次流文件进入时获取整个表，则不需要最大值列（这也允许您确实按照您的描述处理多个表格）。 GenerateTableFetch 将生成 SQL 语句以从表中获取“页面”数据，这将在非常大的表上为您提供更好的增量性能。