【发布时间】:2019-09-06 00:38:28
【问题描述】:
我正在尝试将 Mysql 与 apache Kudu 同步,我使用 CaptureChangeMySql 处理器来获取新的更新/插入记录(JSON 格式),如何使用 PutDatabaseRecord 将数据放入/更新到 Kudu?
请注意,我正在数据库级别进行同步,而不仅仅是具有固定架构的特定表
【问题讨论】:
标签: apache-nifi kudu
我正在尝试将 Mysql 与 apache Kudu 同步,我使用 CaptureChangeMySql 处理器来获取新的更新/插入记录(JSON 格式),如何使用 PutDatabaseRecord 将数据放入/更新到 Kudu?
请注意,我正在数据库级别进行同步,而不仅仅是具有固定架构的特定表
【问题讨论】:
标签: apache-nifi kudu
根据this Apache Kudu doc,您应该能够使用 Impala 将记录插入 Kudu 表。根据版本,您可能可以自动访问表(意味着 Impala 已经“了解” Kudu 表),或者您可能需要在 Impala 中创建的位于 Kudu 表顶部的外部表(参见上述文档)。无论哪种方式,您都应该能够在 PutDatabaseRecord 或任何基于 SQL 的处理器中使用 Impala JDBC 驱动程序(例如,如果您需要在流程中创建表,则使用 PutSQL)。
或者,您可以尝试使用自 Apache NiFi 1.4.0 版(通过NIFI-3973)开始的 PutKudu 处理器。
【讨论】: