我可以直接从 HttpResponseMessage 流式传输到文件而不通过内存吗？

Question

我的程序使用HttpClient 向 Web API 发送 GET 请求，这会返回一个文件。

我现在使用此代码（简化）将文件存储到光盘：

public async Task<bool> DownloadFile()
{
    var client = new HttpClient();
    var uri = new Uri("http://somedomain.com/path");
    var response = await client.GetAsync(uri);

    if (response.IsSuccessStatusCode)
    {
        var fileName = response.Content.Headers.ContentDisposition.FileName;
        using (var fs = new FileStream(@"C:\test\" + fileName, FileMode.Create, FileAccess.Write, FileShare.None))
        {
            await response.Content.CopyToAsync(fs);
            return true;
        }
    }

    return false;
}

现在，当此代码运行时，进程会将所有文件加载到内存中。我实际上更希望流从HttpResponseMessage.Content 流式传输到FileStream，因此只有一小部分保存在内存中。

我们计划在大文件（> 1GB）上使用它，那么有没有办法在不将所有文件都放在内存中的情况下实现它？

理想情况下，无需手动循环将一部分读取到byte[] 并将该部分写入文件流直到所有内容都被写入？

Answer 1

使用带有HttpCompletionOption.ResponseHeadersRead 值的GetAsync(Uri, HttpCompletionOption) 重载代替GetAsync(Uri)。

同样适用于SendAsync和HttpClient的其他方法

来源：

• 文档（见备注） https://docs.microsoft.com/en-us/dotnet/api/system.net.http.httpclient.getasync?view=netcore-1.1#System_Net_Http_HttpClient_GetAsync_System_Uri_System_Net_Http_HttpCompletionOption_

在读取部分或所有响应（包括内容）之后，返回的Task对象将根据completionOption参数完成。

• 使用HttpCompletionOption.ResponseHeadersRead https://github.com/dotnet/corefx/blob/release/1.1.0/src/System.Net.Http/src/System/Net/Http/HttpClient.cs#L163-L168 的GetStreamAsync 的.NET Core 实现

• HttpClient spike in memory usage with large response

• HttpClient.GetStreamAsync() with custom request?（不要介意对回复的评论，ResponseHeadersRead 有什么诀窍）

Answer 2

看起来这是设计使然 - 如果您查看 HttpClient.GetAsync() 的文档，您会看到它说：

返回的任务对象将在整个响应后完成 （包括内容）被读取

您可以改用HttpClient.GetStreamAsync()，其中明确指出：

此方法不缓冲流。

但是，据我所知，您不然后可以访问响应中的标头。由于这可能是一个要求（因为您从标题中获取文件名），那么您可能想要使用 HttpWebRequest 代替它允许您获取响应详细信息（标题等）而无需将整个响应读入内存.比如：

public async Task<bool> DownloadFile()
{
    var uri = new Uri("http://somedomain.com/path");
    var request = WebRequest.CreateHttp(uri);
    var response = await request.GetResponseAsync();

    ContentDispositionHeaderValue contentDisposition;
    var fileName = ContentDispositionHeaderValue.TryParse(response.Headers["Content-Disposition"], out contentDisposition)
        ? contentDisposition.FileName
        : "noname.dat";
    using (var fs = new FileStream(@"C:\test\" + fileName, FileMode.Create, FileAccess.Write, FileShare.None))
    {
        await response.GetResponseStream().CopyToAsync(fs);
    }

    return true
}

请注意，如果请求返回不成功的响应代码，则会引发异常，因此您可能希望包装在 try..catch 中并在这种情况下返回 false，就像您原来的示例一样。