【问题标题】:Getting transformation configuration from custom processor: Nifi从自定义处理器获取转换配置:Nifi
【发布时间】:2021-01-08 18:37:47
【问题描述】:

我试图测试 Nifi 的功能。我从数据库中提取的数据由特定的列组成,例如“id”。我需要使用 Nifi 将列名转换为“customer_id”。我知道使用 jolt 之类的东西很容易。但我的问题是我需要从其他地方提取这些配置或规则,比如说在另一个数据库或其他地方。我不想在 jolt 转换中硬编码以指定列名,而是从其他位置获取它。有没有最佳实践或最佳方法来做到这一点?我是否必须为此编写任何客户处理器?如果是这样,开始编写自定义处理器的最佳起点是什么?

【问题讨论】:

    标签: etl apache-nifi


    【解决方案1】:

    您可以通过多种不同的方式进行转换以及 JOLT - 值得研究使用 Records 和 NiFi 中的 Schema。

    但是关于您的问题 - 您可以将 LookupRecord 与 LookupServices 一起使用来拉取配置,例如,您可以将它们从 databaseREST endpoint 中拉出。有许多 LookupServices - 阅读 LookupRecord 文档页面以获取它们的列表。

    【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多