我想使用foreach循环一个非常大的文件（例如 10GB）的所有行
我目前正在像这样使用File.ReadLines：
var lines = File.ReadLines(fileName);
foreach (var line in lines) {
// Process line
}
但是如果文件大于 2MB，这会很慢，而且循环会很慢。
如何循环播放非常大的文件？
任何帮助将不胜感激。
谢谢！
【问题讨论】：
考虑到这一点，你做的方式是最好的方式
抱歉，从硬盘读取内容很慢。
改进可能来自其他来源：
【讨论】：
首先你需要读取整个文件还是只读取文件的一部分。
如果你只需要阅读文件的部分
const int chunkSize = 1024; // read the file by chunks of 1KB
using (var file = File.OpenRead("yourfile"))
{
int bytesRead;
var buffer = new byte[chunkSize];
while ((bytesRead = file.Read(buffer, 0 /* start offset */, buffer.Length)) > 0)
{
// TODO: Process bytesRead number of bytes from the buffer
// not the entire buffer as the size of the buffer is 1KB
// whereas the actual number of bytes that are read are
// stored in the bytesRead integer.
}
}
如果需要将整个文件加载到内存中。
重复使用此方法，而不是直接加载到内存中，因为您可以控制自己在做什么，并且可以随时停止该过程。
或者你可以使用MemoryMappedFile https://msdn.microsoft.com/en-us/library/system.io.memorymappedfiles.memorymappedfile.aspx?f=255&MSPPError=-2147217396
内存映射文件会给程序一个从内存访问的视图，但它只会第一次从磁盘加载。
long offset = 0x10000000; // 256 megabytes
long length = 0x20000000; // 512 megabytes
// Create the memory-mapped file.
using (var mmf = MemoryMappedFile.CreateFromFile(@"c:\ExtremelyLargeImage.data", FileMode.Open,"ImgA"))
{
// Create a random access view, from the 256th megabyte (the offset)
// to the 768th megabyte (the offset plus length).
using (var accessor = mmf.CreateViewAccessor(offset, length))
{
//Your process
}
}
【讨论】：
File.ReadLines 为您完成所有这些流式传输的事实。
由于您必须循环的项目数量众多，因此循环总是很慢。我很确定这不是循环，而是您在每一条减慢它的行上所做的实际工作。一个有 10GB 行的文件实际上可能有数万亿行，除了最简单的任务之外的任何事情都需要很多时间。
您总是可以尝试使作业线程化，以便不同的线程在不同的行上工作。这样至少你有更多的核心来解决这个问题。
设置一个 for 循环并让它们以不同的量递增。
另外，我不是 100%，但我认为你可以通过根据新行拆分将整个内容拆分为字符串数组，然后处理这些内容，因为所有内容都存储在内存中，因此速度会大大提高。
string lines = "your huge text";
string[] words = lines.Split('\n');
foreach(string singleLine in lines)
{
}
** 基于 cmets 添加 ** 所以有很大的缺点，并且会占用大量的内存。至少原始文件使用的数量，但这解决了硬盘驱动器速度慢的问题，所有数据将直接读取到机器的 RAM 中，这将远远快于从硬盘驱动器中读取小块.
这里还有一个问题是大约 20 亿行的限制，因为这是您可以拥有的数组中的最大条目数。
【讨论】：