我需要手动刷新 StreamWriter 吗？ [复制]

Question

我有以下场景。

我通过逐行读取巨大的 csv 文件来执行拆分功能。 每行都有categoryId。 基于该 ID，我需要将此行写入单独的文件。

为此，我正在执行以下操作：

1. 逐行读取大文件。
2. 阅读每一行后，我会根据 categoryId 打开一个新流（仅当流尚未打开时）。将行写入流，然后保持流打开，因为大文件中可能会有更多行。
3. 最后，处理完大文件中的所有行后，我将关闭所有打开的流。这会强制刷新并关闭连接。

我的问题是。我是否需要手动调用 Flush() 让我们说 -> 每记录 100 行，或者这是由 StreamWriter 本身处理的东西。我在网上读到有一个缓冲区满时会自动刷新，但我不确定这是否属实。我担心的是，如果它不刷新并等待大文件结束，我可能最终会将整个文件加载到内存中。

这是代码的一部分，看看我在说什么：

try
        {
            while (!reader.EndOfStream)
            {
                var line = await reader.ReadLineAsync();
                var locationId = line.Split(',')[0];
                var gdProjectId = GetGDProjectId(locationId);

                var blobName = $"{gdProjectId}/{DateTime.UtcNow.ToString("dd-MM-yyyy")}/{DateTime.UtcNow.ToString("HH-mm-ss")}-{Guid.NewGuid()}.csv";

                if (!openWriters.ContainsKey(gdProjectId))
                {
                    var blockBlobClient = containerClient.GetBlockBlobClient(blobName);
                    var newWriteStream = await blockBlobClient.OpenWriteAsync(true);
                    openWriters.Add(gdProjectId, new StreamWriter(newWriteStream, Encoding.UTF8));
                }

                var writer = openWriters[gdProjectId];
                await writer.WriteLineAsync(line);

                // SHOULD I MANUALLY INVOKE FLUSH ON EVERY {X} lines processed ?
                // TODO: Check if we need to manually flush or the streamwriter does it for us when the buffer is full.
                // await writer.FlushAsync();
            }
        }
        catch (Exception ex)
        {

            throw;
        }
        finally
        {
            // we are always closing the writers no matter if the operation is successful or not.
            foreach (var oStream in openWriters)
            {
                oStream.Value.Close();
            }
        }

Answer 1

Flush（在StreamWriter 实现中）只是将数据从缓冲区发送到底层流，然后在底层流上调用Flush，即（伪代码）：

underlyingStream.Write(GetDataFromBuffer());
bufferPosition = 0; // "clears" buffer
underlyingStream.Flush();

缓冲区大小恒定。默认情况下，它大约是 2-4KiB。但可以在构造函数中手动设置更大的值。 Flush 不会更改缓冲区大小。因此，每 100 行调用一次Flush 将一无所获。

问：“我是否需要手动调用 Flush() 比如说 -> 每 100 行...”

没有。它不会为您节省任何内存。它只会更早地将数据写入底层流 - 即它不会等待缓冲区已满。
提示：如果属性 AutoFlush 设置为 true，Flush 将被自动调用在每个 WriteXYZ 方法调用之后。

问：“我担心的是，如果它不刷新并等待大文件结束，我最终可能会将整个文件加载到内存中。”

缓冲区大小是恒定的。拨打 Flush 也无济于事。

但是……

从StreamWriter 的角度来看，一切都是真实的。
因为StreamWriter 只是引用了一些Stream 实例，所以如果不知道Stream 实例的具体实现（Stream 是abstract），就无法预测内存使用情况。

您应该创建新问题，例如：“我需要手动刷新 XyzStream”吗？ （如果没有类似的问题已经发布）。