stringbuilder 保存到 CSV 文件内存不足

Question

我需要将大型数据表（5000 行和 8880 列）保存到 CSV 文件。所以我先将DataTable 保存到StringBuilder，然后使用File.WriteAllText 保存到文件。但是由于表的大小，它给了我内存不足异常。我正在考虑使用StreamWriter。谁能帮忙改用StreamWriter？

谢谢！

 StringBuilder sb = new StringBuilder();

        string[] CSVcolumnNames = sortedDT.Columns.Cast<DataColumn>().
                                          Select(column => column.ColumnName).
                                          ToArray();
        sb.AppendLine(string.Join(",", CSVcolumnNames));

        foreach (DataRow row in sortedDT.Rows)
        {
            string[] fields = row.ItemArray.Select(field => field.ToString()).
                                            ToArray();
            sb.AppendLine(string.Join(",", fields));
        }

        File.WriteAllText(CSVpath, sb.ToString());

Answer 1

不要使用File.WriteAllText()，它需要所有内存中的数据，改用File.WriteAllLines()（它需要一行的内存> 仅）：

var source = sortedDT.Rows
  .OfType<DataRow>() 
  .Select(row => String.Join(",", row.ItemArray));

File.WriteAllLines(CSVpath, source);

如您所见，File.WriteAllLines 为您完成所有工作，您不必使用StreamWriter。如果您想添加标题（列名称）：

var columnNames = String.Join(",", sortedDT.Columns
  .OfType<DataColumn>()
  .Select(column => column.ColumnName));

var data = sortedDT.Rows
  .OfType<DataRow>() 
  .Select(row => String.Join(",", row.ItemArray));

var source = new String[] {columnNames}
  .Concat(data);

File.WriteAllLines(CSVpath, source);

Answer 2

试试这个已经过测试并且工作正常：

       using System.IO;

        using (var sw = new StreamWriter(CSVpath))
        {
            sw.WriteLine(string.Join(",", sortedDT.Columns.Cast<DataColumn>().Select(column => column.ColumnName)));

            foreach (DataRow row in sortedDT.Rows)
            {
               sw.WriteLine(string.Join(",", row.ItemArray.Select(field => field.ToString())));

            }
        }

此代码将fields 行写入名称为CSVpath 的文件。先列名，后列值