SSIS - 执行同一任务的 N 个并发实例

Question

我目前正在处理一个 SSIS 包。它的作用是运行相同的 SQL 语句 10 次，每次使用不同的参数 N 值（N 从 0 到 9）。语句是相互独立的（它们只是 INSERT INTO ... SELECT * FROM ... WHERE some_int_column % 10 = N）。

我当前的实现非常幼稚：我用 10 个不同的 N 值创建了同一个 .sql 文件的 10 个副本，然后创建了 10 个单独的“执行 SQL”任务，并将每个任务指向不同的 SQL 文件。

这很好用。但现在我需要能够动态改变 N 的最大值，即创建 Nmax 个并行任务，每个任务都有不同的参数值（从 0 到 Nmax-1）。

我应该如何处理这个问题？我在考虑一个 FOR 循环，但你不能在 SSIS 中获得一个异步 FOR 循环，所以这行不通。还有其他想法吗？

我使用的是 SQL Server 2008 R2。

Answer 1

我可能会使用脚本组件来做到这一点。

它将包含一个从 1 到 N 的循环 并调用

SqlCommand.BeginExecuteNonQuery

这是异步的（即立即返回）。

这将提供您需要的并行性。

Answer 2

在 SQL 中，我们尽一切努力避免循环。

我们在集合中思考。

假设您现有的程序如下所示：

ALTER PROCEDURE some_procedure (
   @n int
)
  AS
BEGIN
  SET NOCOUNT ON;

  INSERT INTO something (column_list)
  SELECT column_list
  FROM   something_else
  WHERE  some_int_column % 10 = @n
  ;
END
;

这是一个非常微小的变化，看看你能不能发现它！

ALTER PROCEDURE some_procedure (
   @n int
)
  AS
BEGIN
  SET NOCOUNT ON;

  INSERT INTO something (column_list)
  SELECT column_list
  FROM   something_else
  WHERE  some_int_column % 10 <= @n
  ;
END
;

你看到了吗？ = @n 变成了<= @n

考虑您要为@n=0 到@n=3 执行此操作。在第一个过程中，我们会这样做：

EXEC some_procedure @n=0;
EXEC some_procedure @n=1;
EXEC some_procedure @n=2;
EXEC some_procedure @n=3;

但随着更新，我们可以这样做：

EXEC some_procedure @n=3;

---

关于并行性的更新：

不幸的是，SSIS 目前在 ForEach 循环中不包含这种功能。这已在过去作为 Connect 项目提出 (https://connect.microsoft.com/SQLServer/feedback/details/544304/ssis-parallel-foreach-loop)，但看起来不会很快出现。

据我所知，您还有两个选择：

1. 在 SSIS 中创建X ForEach 循环任务并让它们处理它们之间的@n%X 任务。显然，这意味着您只能获得与创建的任务数量一样多的并行度。
2. 推出您自己的托管代码解决方案，该解决方案可以产生自己的线程。

不是你要找的答案，但你这些是我现阶段能想到的所有选择！

---

对不起，我知道这不是最好的解释，所以如果有不清楚的地方，请在 cmets 中提出任何您想要的内容，我会尝试改进我的答案！