在 ASP.NET Core 1.0 上处理大文件上传

Question

当我在 ASP.NET Core 中将大文件上传到我的 web api 时，运行时会在我的处理和存储上传的函数被触发之前将文件加载到内存中。对于大型上传，这成为一个问题，因为它既慢又需要更多内存。有关如何禁用请求缓冲的 ASP.NET there are some articles 的早期版本，但我无法找到有关如何使用 ASP.NET Core 执行此操作的任何信息。是否可以禁用请求缓冲，这样我的服务器上的内存就不会一直用完？

Answer 1

使用Microsoft.AspNetCore.WebUtilities.MultipartReader，因为它...

可以解析任何 [with] 最小缓冲的流。它一次为您提供每个部分的标题和正文，然后您对该部分的正文执行您想要的操作（缓冲、丢弃、写入磁盘等）。

这是一个中间件示例。

app.Use(async (context, next) =>
{
    if (!IsMultipartContentType(context.Request.ContentType))
    {
        await next();
        return;
    }

    var boundary = GetBoundary(context.Request.ContentType);
    var reader = new MultipartReader(boundary, context.Request.Body);
    var section = await reader.ReadNextSectionAsync();

    while (section != null)
    {
        // process each image
        const int chunkSize = 1024;
        var buffer = new byte[chunkSize];
        var bytesRead = 0;
        var fileName = GetFileName(section.ContentDisposition);

        using (var stream = new FileStream(fileName, FileMode.Append))
        {
            do
            {
                bytesRead = await section.Body.ReadAsync(buffer, 0, buffer.Length);
                stream.Write(buffer, 0, bytesRead);

            } while (bytesRead > 0);
        }

        section = await reader.ReadNextSectionAsync();
    }

    context.Response.WriteAsync("Done.");
});

这里是帮手。

private static bool IsMultipartContentType(string contentType)
{
    return 
        !string.IsNullOrEmpty(contentType) &&
        contentType.IndexOf("multipart/", StringComparison.OrdinalIgnoreCase) >= 0;
}

private static string GetBoundary(string contentType)
{
    var elements = contentType.Split(' ');
    var element = elements.Where(entry => entry.StartsWith("boundary=")).First();
    var boundary = element.Substring("boundary=".Length);
    // Remove quotes
    if (boundary.Length >= 2 && boundary[0] == '"' && 
        boundary[boundary.Length - 1] == '"')
    {
        boundary = boundary.Substring(1, boundary.Length - 2);
    }
    return boundary;
}

private string GetFileName(string contentDisposition)
{
    return contentDisposition
        .Split(';')
        .SingleOrDefault(part => part.Contains("filename"))
        .Split('=')
        .Last()
        .Trim('"');
}

外部参考

• https://github.com/aspnet/HttpAbstractions/pull/146
• https://github.com/aspnet/HttpAbstractions

Answer 2

Shaun Luttin 的回答很棒，现在他演示的大部分工作都是由 ASP.Net Core 2.2 提供的。

获取边界：

// Microsoft.AspNetCore.Http.Extensions.HttpRequestMultipartExtensions
var boundary = Request.GetMultipartBoundary();

if (string.IsNullOrWhiteSpace(boundary))
  return BadRequest();

你仍然得到如下部分：

var reader = new MultipartReader(boundary, Request.Body);
var section = await reader.ReadNextSectionAsync();

检查配置并转换为 FileMultipartSection：

if (section.GetContentDispositionHeader())
{
     var fileSection = section.AsFileSection();
     var fileName = fileSection.FileName;

     using (var stream = new FileStream(fileName, FileMode.Append))
         await fileSection.FileStream.CopyToAsync(stream);
}

Answer 3

在您的Controller 中，您可以简单地使用Request.Form.Files 访问文件：

[HttpPost("upload")]
public async Task<IActionResult> UploadAsync(CancellationToken cancellationToken)
{
    if (!Request.HasFormContentType)
        return BadRequest();

    var form = Request.Form;
    foreach(var formFile in form.Files)
    {
        using(var readStream = formFile.OpenReadStream())
        {
            // Do something with the uploaded file
        }
    }


    return Ok();
}