SSIS 可以按照与 TXT 文件中完全相同的顺序导入 TXT 记录吗？如果不是（默认情况下），那怎么办？

Question

我有一个平面文件中的记录，其中包含您可能认为是主记录的内容，其中详细记录在它们相关的主记录之后，直到主记录。

这是一个例子：

Order123, Customer1, 1/1/2018
Item1, $1
Item2, $1
Order124, Customer2, 1/1/2018
Item1, $1
Item4, $2

该文件没有内置的行号或任何类型的排序，也没有使用外键将主与细节相关联。

如果我要使用 SSIS 将原始 TXT 数据导入一个灵活的表中，该表的列旨在采用各种数据类型（即 nvarchar(255) 或类似的），我可以在导入后迭代这些值，并将第 2 行和第 3 行中带有 Order123 的值；因此，第 5 行和第 6 行是 Order124。

保存原始数据的表将使用一个简单的 RecordID 标识列，其中整数递增一。

这并不重要，但如果你好奇的话，我所指的实际数据是 Retrosheet 数据事件文件。它是所有美国职业棒球大联盟数据的集合。可以从此页面上的链接下载真实文件： https://www.retrosheet.org/game.htm

我似乎记得您无法将 TXT 数据导入表并期望行的顺序与 TXT 行的顺序相匹配。但是，当我对此进行小型测试时，记录确实以与源文件相同的顺序出现。我怀疑我的小测试结果好得令人难以置信，也不能预测结果如何。

总结：

如何使用 SSIS 导入数据，按照与原始平面文件相同的顺序插入 SQL 记录？

Answer 1

答案是肯定的，只要您不应用任何类型的排序，平面文件就会按顺序处理。

我能够通过在我的数据库中创建一个表来处理 Retrosheet 文件，该表具有一个标识列和一个足够长的 varchar 列以容纳文件的每一行（我选择了 100）。然后我使用Ragged Right 格式设置我的平面文件连接，将行分隔符定义为{CR}{LF}。

Answer 2

我刚刚输入了这个，所以可能有一些语法错误，但它应该让你接近。

您需要设置 2 个不同的输出。

加载顺序无关紧要，因为您要向详细信息表添加外键。

public string orderNo; /// on the OUTSIDE

public main()



string[] lines = System.IO.File.ReadAllLines([filename]);

foreach(var line in lines)
{
   string[] cols = line.Split(',');
   if(cols.Length == 3)
   {
      orderNo = cols[0];
      Output0Buffer.AddRow();
      Output0Buffer.OrderNo = cols[0].ToString();
      Output0Buffer.Customer = cols[1].ToString();
      Output0Buffer.OrderDate = DateTime.Parse(cols[2].ToString().Trim());
   }
   else
   {
      Output1Buffer.AddRow();
      Output1Buffer.OrderNo = orderNo;
      Output1Buffer.Item = cols[0].ToString();
      Output1Buffer.Amt = cols[1].ToString(); //This needs to be parsed later.
   }
}

跟进：

我刚刚查看了您尝试下载的网站。而且该文件比您提出的问题要复杂。

Split 似乎仍然可以安全使用，但您必须修剪一些引号包裹的字符串（名称），但看起来没有引号包裹的逗号（至少在示例中）。如果是这种情况，则需要使用 REGEX 进行拆分。

我将更改逻辑以使用 switch 和 case 并将其基于 cols[0] 作为 8 种类型之一。

将 ID 保存在外部，并写入为链接到父级而创建的其他 7 个可能的数据集中的每一个。对于需要绑定到不同父级的其他记录，您必须使用相同的策略（我认为评论就是一个例子）。

祝你一切顺利。剧本看起来并不容易解读！