将数百万个项目从一个存储帐户转移到另一个

Question

作为利用 Azure VM 支持的大规模迁移的一部分，我需要将大约 420 万张图像从美国中北部迁移到美国西部（对于那些不知道的人，美国中北部不支持它们）。图像都在一个容器中，分为大约 119,000 个目录。

我正在使用 Copy Blob API 中的以下内容：

public static void CopyBlobDirectory(
        CloudBlobDirectory srcDirectory,
        CloudBlobContainer destContainer)
{
    // get the SAS token to use for all blobs
    string blobToken = srcDirectory.Container.GetSharedAccessSignature(
        new SharedAccessBlobPolicy
        {
            Permissions = SharedAccessBlobPermissions.Read |
                            SharedAccessBlobPermissions.Write,
            SharedAccessExpiryTime = DateTime.UtcNow + TimeSpan.FromDays(14)
        });

    var srcBlobList = srcDirectory.ListBlobs(
        useFlatBlobListing: true,
        blobListingDetails: BlobListingDetails.None).ToList();

    foreach (var src in srcBlobList)
    {
        var srcBlob = src as ICloudBlob;

        // Create appropriate destination blob type to match the source blob
        ICloudBlob destBlob;
        if (srcBlob.Properties.BlobType == BlobType.BlockBlob)
            destBlob = destContainer.GetBlockBlobReference(srcBlob.Name);
        else
            destBlob = destContainer.GetPageBlobReference(srcBlob.Name);

        // copy using src blob as SAS
        destBlob.BeginStartCopyFromBlob(new Uri(srcBlob.Uri.AbsoluteUri + blobToken), null, null);          
    }
}

问题是，它太慢了。哇哇太慢了。按照发出命令复制所有这些东西的速度，这将需要大约四天的时间。我不太确定瓶颈是什么（连接限制客户端、Azure 端的速率限制、多线程等）。

所以，我想知道我的选择是什么。有什么办法可以加快速度，还是我只是坚持需要四天才能完成的工作？

编辑：我如何分发作品以复制所有内容

//set up tracing
InitTracer();

//grab a set of photos to benchmark this
var photos = PhotoHelper.GetAllPhotos().Take(500).ToList();

//account to copy from
var from = new Microsoft.WindowsAzure.Storage.Auth.StorageCredentials(
    "oldAccount",
    "oldAccountKey");
var fromAcct = new CloudStorageAccount(from, true);
var fromClient = fromAcct.CreateCloudBlobClient();
var fromContainer = fromClient.GetContainerReference("userphotos");

//account to copy to
var to = new Microsoft.WindowsAzure.Storage.Auth.StorageCredentials(
    "newAccount",
    "newAccountKey");
var toAcct = new CloudStorageAccount(to, true);
var toClient = toAcct.CreateCloudBlobClient();

Trace.WriteLine("Starting Copy: " + DateTime.UtcNow.ToString());

//enumerate sub directories, then move them to blob storage
//note: it doesn't care how high I set the Parallelism to,
//console output indicates it won't run more than five or so at a time
var plo = new ParallelOptions { MaxDegreeOfParallelism = 10 };
Parallel.ForEach(photos, plo, (info) =>
{
    CloudBlobDirectory fromDir = fromContainer.GetDirectoryReference(info.BuildingId.ToString());

    var toContainer = toClient.GetContainerReference(info.Id.ToString());
    toContainer.CreateIfNotExists();

    Trace.WriteLine(info.BuildingId + ": Starting copy, " + info.Photos.Length + " photos...");

    BlobHelper.CopyBlobDirectory(fromDir, toContainer, info);
    //this monitors the container, so I can restart any failed
    //copies if something goes wrong
    BlobHelper.MonitorCopy(toContainer);
});

Trace.WriteLine("Done: " + DateTime.UtcNow.ToString());

Answer 1

异步 ​​blob 复制操作在同一个数据中心内将非常快（最近我在大约 1-2 秒内将 30GB vhd 复制到另一个 blob）。跨数据中心，操作排队并发生在没有 SLA 的备用容量中（请参阅this article，其中特别指出了这一点）

从这个角度来看：我跨数据中心复制了相同的 30GB VHD，花了大约 1 小时。

我不知道您的图像大小，但假设平均图像大小为 500K，您会看到大约 2,000 GB。在我的示例中，我在大约一个小时内看到了 30GB 的吞吐量。推断，这将估计您的 2000 GB 数据在大约 (2000/30) = 60 小时内。同样，没有 SLA。只是一个最好的猜测。

其他人建议禁用 Nagle 的算法。这应该有助于更快地推出 400 万条复制命令并让它们更快地排队。我认为它不会对复制时间产生任何影响。

Answer 2

这有点远，但我在表存储方面遇到了类似的问题，即小请求（我认为BeginStartCopyFromBlob 应该是）开始运行非常缓慢。这是Nagle's Algorithm 和delayed TCP acks 的问题，这两个优化网络流量。请参阅MSDN 或this guy 了解更多详情。

结果 - 关闭 Nagle 的算法 - 在执行任何 Azure 存储操作之前调用以下 。

ServicePointManager.UseNagleAlgorithm = false;

或者只是 blob：

var storageAccount = CloudStorageAccount.Parse(connectionString);
ServicePoint blobServicePoint = ServicePointManager.FindServicePoint(account.BlobEndpoint);
blobServicePoint.UseNagleAlgorithm = false;

很高兴知道这是否是您的问题！