【问题标题】:what is wrangler port in data transformation in NIFI?什么是 NIFI 数据转换中的牧马人端口?
【发布时间】:2018-07-23 08:59:33
【问题描述】:

我想知道什么是 DATA TRANSFORMATION 模板中的 Wrangler 输入/清理端口。对于数据摄取模板 nifi 提供输入和清理端口,我们可以在其中定义属性、目录和所有内容。

但是当涉及到数据转换时,无法理解什么是 Wrangler 端口、我们从哪里获取要转换的数据以及从数据源使用哪个表。

请提供您的建议/链接/资源。

谢谢

【问题讨论】:

    标签: apache-nifi kylo


    【解决方案1】:

    to-wrangler-port 和 to-wrangler-cleanup-port 端口是 NiFi 输出端口。它们允许在进程组之间连接处理器。在数据转换可重用模板流中,它们分别连接到 wrangler-input-port 和 wrangler-cleanup-port NiFi 输入端口。

    Kylo 中的数据转换模板实际上包含两个 NiFi 模板。第一个 NiFi 模板包含来自您的提要的信息,例如转换列表。第二个 NiFi 模板包含所有数据转换源使用的处理器。这鼓励了可重用性,并更容易确保遵守业务政策。

    Kylo 团队有一个“连接到可重用流程”视频,更详细地解释了这些概念: https://kylo.io/tutorials.html https://www.youtube.com/watch?v=Vj641MRJCd8

    【讨论】:

    • 非常感谢,请告诉我在数据转换模板中添加提交发布高水位标记的过程,就像我们进行数据摄取一样,将水位标记值设置为高。因为我需要获取增量/更新数据。
    • 请打开一个关于高水位线的新问题,或参考 Kylo 文档:kylo.readthedocs.io/en/latest/how-to-guides/…
    猜你喜欢
    • 2022-01-20
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-10-12
    相关资源
    最近更新 更多