【问题标题】:blocking Step vs Block this step until steps finish in Pentaho transformation阻塞步骤与阻塞此步骤,直到 Pentaho 转换中的步骤完成
【发布时间】:2018-07-09 06:03:43
【问题描述】:

Pentaho Transformations 中阻塞步骤的用例是什么?在哪些场景中,我们将在 Pentaho 转换中使用此步骤。

我理解“阻止此步骤直到步骤完成步骤”是通过配置要监视的步骤来处理当前步骤来控制同步。

【问题讨论】:

    标签: pentaho pentaho-spoon pentaho-data-integration


    【解决方案1】:

    希望您知道转换中涉及的所有步骤都是并行执行的,这意味着任何接收输入的步骤都将开始处理该输入,并且不会等待上一步完成所有记录的处理。

    阻塞步骤用例:

    考虑到以上事实,请看以下场景。

    1. 从表 A 中获取记录(nr of records=100)
    2. 从表 B 中查找记录
    3. 在表 B 中查找所有记录以查找参考值后,在同一转换中触发存储过程。

    由于存储过程步骤也在同一个转换中,所以无需等待记录完成“流查找”步骤即可触发。因此,要使此存储过程步骤等到在上一步中处理完所有 100 条记录,您可以使用“阻塞步骤”。

    阻止此步骤,直到步骤完成 - 用例:

    考虑一个“连接”步骤,它需要两个不同的值,这些值必须从两个并行执行的不同步骤中接收。假设步骤 A 给出字符串“Hello”,步骤 B 应该发送“World”,但步骤 A 完成了处理并将“Hello”发送到连接步骤,而步骤 B 仍在处理中。在这种情况下,一旦“连接”步骤收到其输入,它将处理并将输出作为“Hello”发送。 为了完成这项工作,我们可以在“连接”步骤之前使用“阻止此步骤直到步骤完成”,并在步骤名称列表中提及“步骤 A”和“步骤 B”。

    【讨论】:

    • HI ramJ,感谢您的回复。我认为我们可以通过在中写入 100 条记录的获取逻辑来使用“阻止此步骤直到步骤完成”来实现存储过程执行用例的相同用例一步。
    【解决方案2】:
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-05-31
    • 2010-09-20
    • 1970-01-01
    • 2018-04-06
    • 2014-01-10
    相关资源
    最近更新 更多