从 AS400 文件中并行提取 SSIS ETL答案

【问题标题】：SSIS ETL parallel extraction from a AS400 file从 AS400 文件中并行提取 SSIS ETL
【发布时间】：2015-06-09 00:37:48
【问题描述】：

有没有什么方法可以使用 SSIS ETL 的并行性来改进从 AS400 中的提取？

我正在将 DTS 迁移到 ETL，但性能太差了……显然可以做一些事情来至少匹配 DTS 的性能（及时）。但我不知道如何（对此非常新）

有什么建议吗？

【问题讨论】：

解决瓶颈大约有五个组件： 1. 源AS400查询返回记录； 2、AS400与SSIS Server之间的网络； 3. SSIS包本身； 4. SSIS Server 和 SQL Server 之间的网络（虽然通常是本地的）； 5. 插入 SQL Server。您可以假设 SSIS 较慢的唯一方法是在升级到 SSIS 后保持元素 1、2、4、5 相同。真的吗？这些元素中的每一个都有更多详细信息，即您用于从 AS400 中提取数据的驱动程序
您可以创建多个较小的文件并使用并行数据流导入它们。
什么是源 AS400 查询。没关系用 AS400 上的 SQL 视图替换源 AS400 查询。然后从 SQL 视图中拉取。

【解决方案1】：

SSIS 中的并行性通常是通过将包编写为在同一空间中进行多个操作来完成的（即没有控制流设置任何优先级的两个数据流）。

理论上，您可以对查询进行分区（将数据分成两半并在每个流上设置条件？）。在不了解 AS400 内部的情况下，我无法告诉您这是否值得。您可能会同时运行来自不同表的数据提取。

我认为从单个文件中并行提取是不可能的。如果您可以改为使用与 AS400 的直接 ODBC 连接，与尝试调整文件导出/导入过程相比，这可能会带来更大的性能提升。

【讨论】：