将 Azure blob 的内容作为文本字符串下载需要很长时间

Question

我正在开发一个应用程序

1. 使用简单的 HTTP 网页（REST 方法）从我的本地计算机上传 Azure Blob 存储上的 .CSV 文件

2. 上传 .CSV 文件后，我获取流以更新我的数据库

.CSV 文件大约 30 MB，上传到 blob 需要 2 分钟，但读取流需要 30 分钟。 您能否提供意见以提高速度？ 这是用于从文件中读取流的代码 sn-p： https://azure.microsoft.com/en-in/documentation/articles/storage-dotnet-how-to-use-blobs/

public string GetReadData(string filename)
        {
            // Retrieve storage account from connection string.
            CloudStorageAccount storageAccount = CloudStorageAccount.Parse(System.Web.Configuration.WebConfigurationManager.AppSettings["StorageConnectionString"]);

            // Create the blob client.
            CloudBlobClient blobClient = storageAccount.CreateCloudBlobClient();

            // Retrieve reference to a previously created container.
            CloudBlobContainer container = blobClient.GetContainerReference(System.Web.Configuration.WebConfigurationManager.AppSettings["BlobStorageContainerName"]);

            // Retrieve reference to a blob named "filename"
            CloudBlockBlob blockBlob2 = container.GetBlockBlobReference(filename);

            string text;
            using (var memoryStream = new MemoryStream())
            {
                blockBlob2.DownloadToStream(memoryStream);
                text = System.Text.Encoding.UTF8.GetString(memoryStream.ToArray());
            }

            return text;
        }

Answer 1

为了加快这一过程，您可以做的一件事是，不要一次性读取整个文件，而是分块读取它们。看看DownloadRangeToStream 方法。

本质上，这个想法是您首先创建一个 30 MB（blob 大小）的空文件。然后，您使用DownloadRangeToStream 方法并行下载 1MB（或您认为合适的任何大小）块。下载这些块时，您将流内容放在文件中的适当位置。

几天前我在 SO 上回答了一个类似的问题：StorageException when downloading a large file over a slow network。看看我那里的答案。这些块是按顺序下载的，但它应该让您了解如何实现分块下载。