Talend Open Studio 是否有类似于 SSIS 的序列容器？答案

【问题标题】：Does Talend Open Studio have a sequence container similar to SSIS?Talend Open Studio 是否有类似于 SSIS 的序列容器？
【发布时间】：2018-04-27 19:05:20
【问题描述】：

使用 Talend Open Studio...

第 1 步 - 我使用 tSystem 组件在 PostgreSQL 数据库中执行一组 SQL 语句
第 2 步 - 我将 10 个 PostgreSQL 表复制到 SQL Server 数据库中

由于没有相互依赖关系，我想同时执行所有十个表复制操作。如果我使用的是 SSIS，这将是微不足道的：将十个复制表任务放在一个序列容器中，并使用一个优先约束将执行 SQL 脚本链接到序列容器。

Talend Open Studio 是否有类似于 SSIS 的序列容器？

在 Talend Open Studio 中，我知道我可以使用 tSystem 组件中的 OnSubJobOk 触发器并创建与十个复制表任务中的每一个的连接...但如果我可以通过一个与 SSIS 序列之类的连接来执行此操作容器我更愿意这样做，因为我很懒……我的意思是高效！

这里的关键是我想并行执行所有十个复制表任务，以减少总运行时间。

感谢您的见解。

Talend Open Studio for Data Integration 6.3.2

【问题讨论】：

标签： sql-server postgresql ssis parallel-processing talend

【解决方案1】：

您将有两种选择。会一一介绍。

tParallelize

tParallelize 组件可帮助您并行化和同步主作业中众多子作业的执行。因此，在您的情况下，它将同时在并行子作业中执行所有十个复制表任务，并在主作业中同步执行。唯一需要注意的是，此功能仅适用于订阅版本。你可以阅读更多关于它的信息here。

多线程执行

此功能可在“作业”视图的“额外”选项卡上使用。设置 Talend 作业后，您需要选中多线程执行复选框以激活多线程执行功能，该功能将并行运行您的逻辑。对于 10 个不同的 Sql 输出，您将建立 10 个数据库连接并写入 10 个不同的连接。更多相关信息here。

这里要记住的一件事是 Talend 中的 SSIS（对于 SSIS，它是处理器数量 + 2），您也不能并行化超过您的处理器数量，否则它将等待处理器并增加处理器的开销。

【讨论】：