异步读/写到同一个流？

Question

有时我们需要在 AWS S3 中将大文件从一个存储桶复制到另一个存储桶。我们尽可能在 AWS 上使用 CopyRequest 来处理此操作（因为不需要返回客户端）。但有时我们没有这样做的选项，因为我们需要在两个完全独立的帐户之间进行复制，这需要GET，然后是PUT。

问题：

1. 从 GET 返回的响应流不可搜索，因此无法传递给 PUT 请求并使其无缝地从一个流向另一个
2. 使用 CopyTo() 将响应流复制到中间流 (MemoryStream)，然后将其传递给 PUT 操作效果很好，但无法扩展（大文件会引发 OutOfMemory 异常）

所以基本上我需要一个可以同时读/写的中间流，基本上我会从响应流中读取一个块并将其写入我的中间流，同时 PUT 请求正在读取内容和它只是一种无缝的直通场景。

我在 stackoverflow 上找到了这篇文章，起初它看起来很有希望，但它仍然会引发大文件的 OutOfMemory 异常。

.NET Asynchronous stream read/write

有人做过类似的事情吗？你将如何应对？提前感谢

Answer 1

我找到了这个，但它在内部使用了一个队列，作者指出它比 MemoryStream 慢一个数量级。

http://www.codeproject.com/Articles/16011/PipeStream-a-Memory-Efficient-and-Thread-Safe-Stre

我一直希望我能找到一个官方的 MS 库解决方案，但似乎这个轮子还没有被正确地发明出来。

Answer 2

不清楚您为什么要使用MemoryStream。 .NET 4 中的 Stream.CopyTo 方法不需要使用中间流 - 它只会读入固定大小的本地缓冲区，然后将该缓冲区写入输出流，然后读取更多数据（覆盖缓冲区）等等

如果您不使用 .NET 4，则很容易实现类似的东西，例如

public static void CopyTo(this Stream input, Stream output)
{
    byte[] buffer = new byte[64 * 1024]; // 64K buffer
    int bytesRead;
    while ((bytesRead = input.Read(buffer, 0, buffer.Length)) > 0)
    {
        output.Write(buffer, 0, bytesRead);
    }
}