具有可变列号的 SSIS 平面文件

Question

SSIS 在处理平面文件方面做了两件事，这特别令人沮丧，似乎应该有办法解决它们，但我想不通。如果您定义一个包含 10 列的平面文件，以 CRLF 作为行尾标记分隔制表符，这对于每行正好有 10 列的文件非常有效。两种痛苦的情况是：

1. 如果有人在任何地方提供了第 11 列的文件，那么如果 SSIS 简单地忽略它就好了，因为您还没有定义它。它应该只读取您定义的 10 列然后跳到行标记的末尾，但它所做的是将任何其他数据与第 10 列中的数据连接起来，并将所有这些数据放入第 10 列。真的有点没用。我意识到发生这种情况是因为第 10 列的分隔符不是像所有其他列一样的制表符，而是 CRLF，因此它只会抓取 CRLF 之前的所有内容，并用任何内容替换多余的制表符。在我看来，这并不聪明。

2. 如果有人提供了一个只有 9 列的文件，情况会更糟。它将暂时忽略它意外发现的 CRLF，并用下一行开头的列填充任何缺失的列！不聪明在这里是轻描淡写的。谁会希望这种情况发生？此时文件的其余部分是垃圾。

无论出于何种原因，文件宽度的变化似乎都不是不合理的（当然，只有行尾的变化可以被合理地处理（x 更少或额外的列），但看起来这根本没有处理好，除非我遗漏了什么。

到目前为止，我们对此的唯一解决方案是将一行加载为一个巨大的列 (column0)，然后使用脚本任务使用它找到的许多分隔符来动态拆分它。这很好用，除了它将行宽限制为 4000 个字符（一个 unicode 列的最大宽度）。如果您需要导入更宽的行（例如用于文本导入的多个 4000 宽列），那么您需要像上面那样定义多个列，但是您会遇到每行要求严格的列数。

有没有办法绕过这些限制？

Answer 1

格伦，我感觉到你的痛苦 :) SSIS 不能使列动态化，因为它需要存储每列的元数据，因为我们正在使用可以包含任何类型数据的平面文件，它不能假设 CRLF 在“列-that-is-not-that-last-column'，确实是它应该读取的数据行的末尾。

与 SQL2000 中的 DTS 不同，您不能在运行时更改 SSIS 包的属性。

你可以做的是创建一个父包，它读取平面文件（脚本任务），并且只读取平面文件的第一行来获取列数和列名。此信息可以存储在变量中。

然后，父包以编程方式加载子包（再次执行脚本任务），并更新子包的Source Connection的元数据。这是您想要的地方 1. 添加/删除列以匹配平面文件。 2. 为列设置列分隔符，最后一列必须是 CRLF - 匹配 ROW 分隔符 3.在Dataflow任务中重新初始化Source Compoenent的元数据（ComponentMetadata.ReinitializeMetadata()）（以识别Source Connection中最近的变化）。 4. 保存子ssis包。

仅提供有关以编程方式修改包的详细信息。

然后，您的父包只执行子包（执行包任务），它将使用您的新映射执行。