【问题标题】:How to define multiple CAS Consumers in UIMA DUCC?如何在 UIMA DUCC 中定义多个 CAS 消费者?
【发布时间】:2015-04-25 01:16:46
【问题描述】:

我正在 UIMA DUCC 中设计一个文本挖掘管道,如下所示:

|-----------------|
|                 | ==CAS_1==> Pipeline A ==> Consumer A 
| CAS Multiplier  | ==CAS_2==> Pipeline B ==> Consumer B
|                 | ==CAS_3==> Pipeline C ==> Consumer C 
|-----------------|

我打算并行运行 Piepline A、B 和 C。我相信它可以使用流量控制器来完成。我的理解对吗?如果是,我如何定义多个 CC。职位描述文件中的process_descriptor_CC 字段只接受一个消费者。我们如何传递多个消费者及其管道关联?

【问题讨论】:

    标签: information-retrieval uima ducc


    【解决方案1】:

    如果打算处理大量文档 具有高吞吐量,然后是三个管道,每个管道都包括其 CAS 消费者,都在 AE (process_descriptor_AE) 和 AE 将包括一个自定义流控制器来路由 CAS 如预期的。 AE 中的 CAS 一次运行一个,但多个 CM+AE线程可以通过指定数量并行运行 JP 线程数 (process_thread_count) 大于 1。

    【讨论】:

      【解决方案2】:

      首先,您需要了解流控制器并使用流控制器创建聚合描述符,并添加 cas 消费者描述符,就像流控制器中的分析引擎描述符一样。

      在此之后,您的场景有两个用例:

      1. 仅使用 process_descriptor_CR 和 process_descriptor_AE,并在 AE 中使用基于流控制器的聚合描述符。

      2. 仅使用 process_descriptor_CR 和 process_dd,并在部署描述符中使用基于流控制器的聚合描述符。

      【讨论】:

        【解决方案3】:

        制作一个流控制器并添加 cas 消费者作为委托分析引擎。 通过这种方式,您可以根据需要添加任意数量。 然后在部署描述符中给出 flowcontroller 的路径,并在作业规范中给出这个路径。

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 2016-06-08
          • 1970-01-01
          • 2011-06-04
          • 1970-01-01
          • 2015-09-03
          • 1970-01-01
          • 1970-01-01
          • 2021-02-06
          相关资源
          最近更新 更多