数据表转 CSV答案

【问题标题】：DataTable To CSV数据表转 CSV
【发布时间】：2013-01-30 17:24:27
【问题描述】：

这个问题不是关于解析 CSV。

使用以下代码从 DataTable 创建 CSV
但是很慢
100 行乘 14 列是 4 秒
有更快的方法吗？

StringBuilder sb = new StringBuilder();
bool first = true;
int colCount = 0;
foreach (DataColumn dc in DT.Columns)
{
    if (first) first = false; else sb.Append(",");
    sb.Append("\"" + dc.ColumnName +  "\"");
    colCount++;
}
sb.AppendLine();
foreach (DataRow dr in DT.Rows)
{  
    first = true;
    for (int i = 0; i < colCount; i++)
    {
        if (first) first = false; else sb.Append(",");
        sb.Append("\"" + dr[i].ToString().Trim() + "\"");
    }
    sb.AppendLine();
}
return sb.ToString();

StringBuilder 不是这里的问题。
在 300 毫秒内将 i 从 0 加载到 100 万次运行

StringBuilder sb = new StringBuilder();
Stopwatch sw = new Stopwatch();
sw.Start();
for (int i = 0; i < 1000000; i++)
{
    sb.Append(i.ToString());
}
sw.Stop();
Debug.Write(sw.ElapsedMilliseconds.ToString());

【问题讨论】：

@DourHighArch 问题是创建 CSV。不解析。这个问题中没有关于解析 CSV 的内容。
我唯一的评论是您将输出写入 StringBuilder - 为什么不直接写入流？
不确定你会获得多少，但你可以消除字符串表达式，即将sb.Append("\"" + dc.ColumnName + "\"");更改为sb.Append('"'); sb.Append(dc.ColumnName); db.Append('"');。在你的第二个循环中也是如此。此外，在适用的情况下，单字符文字可能比字符串更快。最后（nit）first 在你的第二个循环中可以被消除，以支持对i==0 的检查。
不，在 CPU 级别，两者的复杂度是等价的。
没有给你答案，但我模拟了一些代码，我发现数据表的东西没有问题。你确定你的 DataTable 是真正的问题，而不是你的应用程序中的其他问题，最大化 CPU/IO 并且没有给你的代码足够的运行机会吗？...我做的例子在这里gist.github.com/PaulFarry/6e5e1e80f484cfad1218

标签： .net csv datatable

【解决方案1】：

有更快的方法来进行字符串连接和其他一些逻辑。使用字符串生成器来构建整个事物也可能是减速的一部分。正如一些人所建议的那样，图书馆应该已经考虑了其中一些事情，并且可能会执行得更快。

这是一些使用CsvHelper（我写的）的代码。

using( var dt = new DataTable() )
{
    dt.Load( dataReader );
    foreach( DataColumn column in dt.Columns )
    {
        csv.WriteField( column.ColumnName );
    }
    csv.NextRecord();

    foreach( DataRow row in dt.Rows )
    {
        for( var i = 0; i < dt.Columns.Count; i++ )
        {
            csv.WriteField( row[i] );
        }
        csv.NextRecord();
    }
}

如果您有DataReader，那么您甚至不必使用DataTable，这也应该会加快一些速度。

var hasHeaderBeenWritten = false;
while( dataReader.Read() )
{
    if( !hasHeaderBeenWritten )
    {
        for( var i = 0; i < dataReader.FieldCount; i++ )
        {
            csv.WriteField( dataReader.GetName( i ) );
        }
        csv.NextRecord();
        hasHeaderBeenWritten = true;
    }

    for( var i = 0; i < dataReader.FieldCount; i++ )
    {
        csv.WriteField( dataReader[i] );
    }
    csv.NextRecord();
}

【讨论】：

感谢您的示例，它缺少using (var csv = new CsvWriter(writer)) 位，这可能会使某些人感到困惑

【解决方案2】：

你所拥有的并不是“伟大”的代码......我认为大多数人会建议使用类似 CSVHelper nuget 包的东西。但是，我还要说，该代码并不是只有 100 行需要 4 秒的代码。获取数据表中的数据需要多长时间？我猜这就是这 4 秒的大部分时间。

【讨论】：

4 秒是从现有数据表中提取文本的时间。不是创建数据表的时候。并告诉我 CSVHelper 如何读取 DataTable。