如何跳过 ssis 平面文件源中的坏行

Question

我正在将一个 17 列的 CSV 文件读入数据库。 有时，该文件有一个“少于 17 列”的行。 我试图忽略该行，但即使所有列都设置为忽略，我也无法忽略该行并且包失败。

如何忽略这些行？

Answer 1

这是我的另一个答案中的@SidC评论。

这让您可以处理多个文件：

        //set up variables
        string line;
        int ctr = 0;

        string[] files = System.IO.Directory.GetFiles(@"c:/path", "filenames*.txt");
        foreach(string file in files)
        {
            var str = new System.IO.StreamReader(file);
            while((line = str.ReadLine()) != null)
            {
                // Work with line here similar to the other answer
            }
        }

Answer 2

解决方案概述

您可以通过添加一个Flat File Connection Manager 来做到这一点，只添加一个数据类型为DT_WSTR 且长度为4000 的列（假设它的名称是Column0） - 所以所有列都被视为一列大专栏

• 在Dataflow task 中，在Flat File Source 之后添加Script Component
• 将Column0标记为输入列并添加17个输出列
• 在Input0_ProcessInputRow方法中，通过分隔符拆分Column0，然后检查数组的长度是否为= 17然后将值分配给输出列，否则忽略该行。

详细解决方案

1. 添加平面文件连接管理器，选择文本文件
2. 进入高级选项卡，删除除一列以外的所有列
3. 将remianing Column的数据类型更改为DT_WSTR和length = 4000

4. 添加数据流任务
5. 在数据流任务中添加平面文件源、脚本组件和 OLEDB 目标

6. 在脚本组件中选择Column0作为输入列

1. 增加17个输出列（最优输出列）
2. 将OutputBuffer SynchronousInput 属性更改为None

9. 选择脚本语言为Visual Basic

10. 在脚本编辑器中编写以下脚本

    Public Overrides Sub Input0_ProcessInputRow(ByVal Row As Input0Buffer)
    
        If Not Row.Column0_IsNull AndAlso
                Not String.IsNullOrEmpty(Row.Column0.Trim) Then
    
    
            Dim strColumns As String() = Row.Column0.Split(CChar(";"))
    
            If strColumns.Length <> 17 Then Exit Sub
    
    
            Output0Buffer.AddRow()
            Output0Buffer.Column = strColumns(0)
            Output0Buffer.Column1 = strColumns(1)
            Output0Buffer.Column2 = strColumns(2)
            Output0Buffer.Column3 = strColumns(3)
            Output0Buffer.Column4 = strColumns(4)
            Output0Buffer.Column5 = strColumns(5)
            Output0Buffer.Column6 = strColumns(6)
            Output0Buffer.Column7 = strColumns(7)
            Output0Buffer.Column8 = strColumns(8)
            Output0Buffer.Column9 = strColumns(9)
            Output0Buffer.Column10 = strColumns(10)
            Output0Buffer.Column11 = strColumns(11)
            Output0Buffer.Column12 = strColumns(12)
            Output0Buffer.Column13 = strColumns(13)
            Output0Buffer.Column14 = strColumns(14)
            Output0Buffer.Column15 = strColumns(15)
            Output0Buffer.Column16 = strColumns(16)
    
        End If
    
    End Sub
    

11. 将输出列映射到目标列

Answer 3

加载 CSV 并跳过没有 17 列的行的 C# 解决方案：

使用脚本组件： 在输入/输出屏幕上添加所有带有数据类型的输出。

string fName = @"C:\test.csv" // Full file path: it should reference via variable

string[] lines = System.IO.File.ReadAllLines(fName);

//add a counter
int ctr = 1;

foreach(string line in lines)
{
    string[] cols = line.Split(',');

    if(ctr!=1) //Assumes Header row. elim if 1st row has data
    {
    if(cols.Length == 17)
    {
          //Write out to Output
          Output0Buffer.AddRow();
          Output0Buffer.Col1 = cols[0].ToString(); //You need to cast to data type
          Output0Buffer.Col2 = int.Parse(cols[1]) // example to cast to int
          Output0Buffer.Col3 = DateTime.Parse(cols[2]) // example of datetime
          ... //rest of Columns
    }
    //optional else to handle skipped lines
    //else 
    // write out line somewhere
    }
    ctr++; //increment counter
}