【问题标题】:How to define multiple CAS Consumers in UIMA DUCC?如何在 UIMA DUCC 中定义多个 CAS 消费者?
【发布时间】:2015-04-25 01:16:46
【问题描述】:
我正在 UIMA DUCC 中设计一个文本挖掘管道,如下所示:
|-----------------|
| | ==CAS_1==> Pipeline A ==> Consumer A
| CAS Multiplier | ==CAS_2==> Pipeline B ==> Consumer B
| | ==CAS_3==> Pipeline C ==> Consumer C
|-----------------|
我打算并行运行 Piepline A、B 和 C。我相信它可以使用流量控制器来完成。我的理解对吗?如果是,我如何定义多个 CC。职位描述文件中的process_descriptor_CC 字段只接受一个消费者。我们如何传递多个消费者及其管道关联?
【问题讨论】:
标签:
information-retrieval
uima
ducc
【解决方案1】:
如果打算处理大量文档
具有高吞吐量,然后是三个管道,每个管道都包括其
CAS 消费者,都在 AE (process_descriptor_AE) 和
AE 将包括一个自定义流控制器来路由 CAS
如预期的。 AE 中的 CAS 一次运行一个,但多个
CM+AE线程可以通过指定数量并行运行
JP 线程数 (process_thread_count) 大于 1。
【解决方案2】:
首先,您需要了解流控制器并使用流控制器创建聚合描述符,并添加 cas 消费者描述符,就像流控制器中的分析引擎描述符一样。
在此之后,您的场景有两个用例:
仅使用 process_descriptor_CR 和 process_descriptor_AE,并在 AE 中使用基于流控制器的聚合描述符。
仅使用 process_descriptor_CR 和 process_dd,并在部署描述符中使用基于流控制器的聚合描述符。
【解决方案3】:
制作一个流控制器并添加 cas 消费者作为委托分析引擎。
通过这种方式,您可以根据需要添加任意数量。
然后在部署描述符中给出 flowcontroller 的路径,并在作业规范中给出这个路径。