【问题标题】:How can I modify a 11GB .csv file in C#? [closed]如何在 C# 中修改 11GB 的 .csv 文件? [关闭]
【发布时间】:2017-03-06 15:18:12
【问题描述】:

我有一个 1500 万行的 .csv 文件。它包括一些只有连字符的行。但不可能用 excel、notepad 或 notepad++ 打开这个文件。因此我想在 C# 中修改它(首先读入,而不是写成一个新的修改文件,其中没有创建连字符行)。

如何以最简单的方式编写代码?

【问题讨论】:

  • 为什么会有1500万行的csv文件?你希望谁来理解这一点?
  • 好的,这取决于您要如何修改它,但是您可以逐行读取任何文件,然后写出一个新文件……然后将其移到旧文件的位置。
  • 有一些用于打开 CSV 文件的库(如 joshclose.github.io/CsvHelper)...您必须逐行进行,并且需要很大的耐心和 SSD 磁盘 :-) 显然,您甚至可以简单地将它作为文本文件逐行读取(最后你想简单地重写它减去一些行)
  • 查看这篇文章 ► Reading large text files with streams in C# 下面的答案之一显示了他们使用什么来处理 19GB 文件。

标签: c# csv self-modifying bigdata


【解决方案1】:

考虑将 CSV 文件迁移到 SQL 数据库,将其导入,然后删除有问题的列。 CSV 并不是一个真正有效的解决方案

【讨论】:

  • 请注意,如果您坚持使用平面文件,则在完成后始终可以导出回 CSV
  • 如果你真的想努力并继续使用 CSV,这里有一个 Python 模块:docs.python.org/2/library/csv.html
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2011-01-26
相关资源
最近更新 更多