【问题标题】:Can i use PutDatabaseRecord processor to directly upsert into apache Kudu?我可以使用 PutDatabaseRecord 处理器直接插入到 apache Kudu 中吗?
【发布时间】:2019-09-06 00:38:28
【问题描述】:

我正在尝试将 Mysql 与 apache Kudu 同步,我使用 CaptureChangeMySql 处理器来获取新的更新/插入记录(JSON 格式),如何使用 PutDatabaseRecord 将数据放入/更新到 Kudu?

请注意,我正在数据库级别进行同步,而不仅仅是具有固定架构的特定表

【问题讨论】:

    标签: apache-nifi kudu


    【解决方案1】:

    根据this Apache Kudu doc,您应该能够使用 Impala 将记录插入 Kudu 表。根据版本,您可能可以自动访问表(意味着 Impala 已经“了解” Kudu 表),或者您可能需要在 Impala 中创建的位于 Kudu 表顶部的外部表(参见上述文档)。无论哪种方式,您都应该能够在 PutDatabaseRecord 或任何基于 SQL 的处理器中使用 Impala JDBC 驱动程序(例如,如果您需要在流程中创建表,则使用 PutSQL)。

    或者,您可以尝试使用自 Apache NiFi 1.4.0 版(通过NIFI-3973)开始的 PutKudu 处理器。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2019-07-21
      • 2020-10-27
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2011-12-01
      • 1970-01-01
      相关资源
      最近更新 更多