从文本行读取文本文件并使用 C# 插入 SQL Server 数据库

Question

我正在尝试使用 C# 读取文本文件并将该文本文件中的数据（跳过标题）插入到 SQL Server 表中。

我使用批量插入，但后来了解到使用批量插入跳过文本文件中的标题是滥用批量命令

SET @bulkCommand = ' BULK INSERT ' + @databaseName + ' .dbo.ImportTable
FROM ''' + @fileName + '''
WITH (ROWTERMINATOR = ''\n'',
      FIELDTERMINATOR = ''\t'',
      DATAFILETYPE = ''char'',
      MAXERRORS = 0,
      FIRSTROW = ' + CAST (@Data2 AS VARCHAR(10)) + ')';

我已经使用列标题（第 1-13 列）创建了一个表格。

文本文件中没有任何内容可以在批量插入期间进行排序，因此我发现批量插入在前面的标题中作为单行读取，并且错过了我尝试导入的一些数据。

我认为最好的方法是使用 C# 读取文本文件并将“DATA”直接插入我的 SQL Server 表中。因此，当 C# 脚本到达 line='DATA' + 1 时，它会将其导入到我的 SQL Server 表中。

文本文件看起来像这样；

[Header]
Blah1   1.9.4
Blah2   8/13/2019 9:08 AM
Blah3   Blah_nnnn_C.bpm
Blah4   14376
Blah5   18004
Blah6   116
Blah7   672
[Data]
Column1 Column2 Column3 Column4 Column5 Column6 Column7 Column8 Column9 Column10  Column11  Column12  Column13      
ARS-BFGL-BAC-10972  UK160457403929  G   C   A   B   C   G   0.8651  0.677   0.718   0.4864  -0.2590
ARS-BFGL-BAC-10975  UK160457403929  A   G   A   B   A   G   0.9303  0.604   0.668   0.5116  0.1358
ARS-BFGL-BAC-11025  UK160457403929  G   G   B   B   C   C   0.9092  0.021   0.985   1.0000  -0.0762
ARS-BFGL-BAC-11044  UK160457403929  T   T   A   A   A   A   0.9626  0.941   0.003   0.0000  -0.0977
ARS-BFGL-BAC-11193  UK160457403929  A   A   A   A   A   A   0.9544  0.538   0.000   0.0000  -0.0775
ARS-BFGL-BAC-11215  UK160457403929  A   G   A   B   A   G   0.8400  0.146   0.296   0.5626  -0.7361
ARS-BFGL-BAC-11218  UK160457403929  A   A   A   A   A   A   0.9496  1.186   0.020   0.0000  0.0131
ARS-BFGL-BAC-11276  UK160457403929  A   G   A   B   A   G   0.9416  0.577   0.570   0.5320  -0.1528
ARS-BFGL-BAC-11723  UK160457403929  T   C   A   B   A   G   0.9610  0.566   0.627   0.5039  -0.0593
ARS-BFGL-BAC-11724  UK160457403929  T   C   A   B   A   G   0.8602  0.296   0.600   0.5375  0.1308
ARS-BFGL-BAC-11748  UK160457403929  C   G   A   B   C   G   0.8581  0.506   0.544   0.4631  -0.0229
ARS-BFGL-BAC-11750  UK160457403929  G   G   B   B   G   G   0.9336  0.010   0.783   1.0000  0.0400
ARS-BFGL-BAC-11783  UK160457403929  A   G   A   B   A   G   0.9701  0.266   0.316   0.4858  -0.0636
ARS-BFGL-BAC-1180   UK160457403929  T   C   A   B   A   G   0.9636  0.304   0.369   0.5165  -0.2222
ARS-BFGL-BAC-11805  UK160457403929  G   G   B   B   G   G   0.7832  0.062   1.414   1.0000  0.0778
ARS-BFGL-BAC-11867  UK160457403929  T   T   A   A   A   A   0.9115  1.220   0.054   0.0000  -0.0038
ARS-BFGL-BAC-11913  UK160457403929  G   G   B   B   C   C   0.8620  0.033   1.201   1.0000  -0.0393
ARS-BFGL-BAC-12159  UK160457403929  T   C   A   B   A   G   0.9625  0.434   0.468   0.4957  0.0169
ARS-BFGL-BAC-12297  UK160457403929  A   G   A   B   A   G   0.9440  0.503   0.536   0.4837  -0.0246
ARS-BFGL-BAC-12468  UK160457403929  T   C   A   B   A   G   0.9618  0.578   0.621   0.5011  -0.0039
ARS-BFGL-BAC-12579  UK160457403929  A   A   A   A   A   A   0.8726  0.965   0.055   0.0000  0.1988
ARS-BFGL-BAC-12893  UK160457403929  C   C   B   B   G   G   0.9577  0.015   1.021   1.0000  -0.0088
ARS-BFGL-BAC-1302   UK160457403929  T   C   A   B   A   G   0.9423  0.747   0.648   0.4974  0.1031
ARS-BFGL-BAC-13210  UK160457403929  C   C   B   B   G   G   0.8578  0.019   1.535   1.0000  -0.0282
ARS-BFGL-BAC-13545  UK160457403929  A   A   A   A   A   A   0.9562  0.647   0.013   0.0000  -0.5184
ARS-BFGL-BAC-13568  UK160457403929  T   T   A   A   A   A   0.9588  0.784   0.007   0.0000  0.0387

我可以简单地写出另一个文本文件，比如选择前 30 行，但不知道如何从第 'DATA' + 1 行执行此操作并插入到我的 sql 表中？

using System;
using System.IO;
using System.Linq;

namespace Generic
{
    class ReadFromFile
    {
        static void Main()
        {
            if(File.Exists(@"outputfile.txt"))
            {
                File.Delete(@"outputfile.txt");
            }

            string[] lines = System.IO.File.ReadLines(@"inputfile.txt").Take (30). ToArray();

            foreach (string line in lines)
            {
                Console.WriteLine(line);

                FileStream fs = new FileStream("outputfile.txt",     FileMode.Append);
                TextWriter tmp = Console.Out;
                StreamWriter sw = new StreamWriter(fs);

                Console.SetOut(sw);
                Console.WriteLine(line);

                Console.SetOut(tmp);
                sw.Close();
            }
            //Console.ReadKey();
        }
    }
}

我没有太多 C# 经验，也不知道从哪里开始。 如果有人可以帮助我，那就太好了。

Answer 1

void Main()
{
  using (var stream = File.OpenText(@"d:\temp\SampleTextFile.txt"))
  {
    while (stream.ReadLine() != "[Data]") { };
    stream.ReadLine();


    while (!stream.EndOfStream)
    {
      string line = stream.ReadLine();
      // parse the line and do whatever. ie:
      // line.Split(' ').Where(l => !string.IsNullOrEmpty(l));
    }
  }
}

如果真实文本文件与您提供的示例一样简单，那么您可以简单地使用 Split 并获得每行 13 个项目。该文本文件看起来像一个固定宽度数据，也就是系统数据格式 (SDF)，您可以使用 Substring() 对其进行解析。

PS：字段终止符 \t ？您确定此文件是制表符分隔的吗？