将 System.IO.Pipelines 与 Stream 一起使用

Question

我考虑在我们的应用程序中用 System.IO.Pipelines 替换基于 Stream 的 IO，以避免不必要的内存分配（首先考虑 RecyclableMemoryStream，但它似乎已停止使用）。但是在某些地方，由于外部库强加的接口，我仍然必须使用 Stream。所以我的 PipeWriter 需要将其数据包装在 Stream 中。

我没有找到关于这个主题的太多内容，但在另一个问题的答案中找到了使用装饰器模式 (C# Stream Pipe (Stream Spy)) 的建议。我不确定将 Pipelines 隐藏在 Stream 包装器后面是否是一种权利，但找不到其他任何东西可以让我将数据通过管道传输到流中。我错过了什么吗？

更新。下面是一个使用 SSH.NET 开源库将文件上传到 FTP 服务器 (https://gist.github.com/DavidDeSloovere/96f3a827b54f20d52bcfda4fe7a16a0b) 的示例：

using (var fileStream = new FileStream(uploadfile, FileMode.Open))
    {
        Console.WriteLine("Uploading {0} ({1:N0} bytes)", uploadfile, fileStream.Length);
        client.BufferSize = 4 * 1024; // bypass Payload error large files
        client.UploadFile(fileStream, Path.GetFileName(uploadfile));
    }

请注意，我们打开 FileStream 来读取文件，然后将 Stream 引用传递给 SftpClient。我可以在这里使用 System.IO.Pipelines 来减少内存分配吗？我仍然需要为 SftpClient 提供一个 Stream。

Answer 1

现在这似乎是一种利用 PipeReader 的 AsStream() 扩展的方法：

using (var fileStream = new FileStream(uploadfile, FileMode.Open))
    {
        Console.WriteLine("Uploading {0} ({1:N0} bytes)", uploadfile, fileStream.Length);
        client.BufferSize = 4 * 1024; // bypass Payload error large files
        var pipeReader = PipeReader.Create(fileStream);
        client.UploadFile(pipeReader.AsStream(), Path.GetFileName(uploadfile));
    }

Answer 2

免责声明：我不是专家，只是拼凑起来......

---

答案（截至 2019 年 1 月）似乎是：对此没有官方支持。

System.IO.Pipelines 主要是为 networking use cases 创建的。其实2.1发布的管道代码有no support for any endpoints：

这里我们需要一点警告和免责声明：.NET Core 2.1 中发布的管道不包含任何端点实现。

有一个用于通用流适配器的proposed design for an API，但这是 .NET Core 3.0 里程碑的一部分。

甚至有 seems to be some reticence 来实现基于文件的管道访问（又名 FileStream 管道等效项）。这尤其令人失望，因为我也希望管道驱动的文件 I/O。

我认为您目前最好的选择是使用UsePipe() 中的https://github.com/AArnott/Nerdbank.Streams 方法

---

更新：这是我刚刚找到的另一个示例https://github.com/tulis/system-io-pipelines-demo/tree/master/src/SystemIoPipelinesDemo/SystemIoPipelinesDemo

---

更新：我尝试制作基于管道的文件阅读器。你可以在这里阅读所有相关信息：https://github.com/atruskie/Pipelines.File.Unofficial

基本上，从性能的角度来看，使用像 Nerdbank.Streams 这样的管道流适配器是一个不错的方法！