如何备份 Azure 表和 Blob答案

【问题标题】：How Do I Backup Azure Tables and Blobs如何备份 Azure 表和 Blob
【发布时间】：2016-06-20 13:06:12
【问题描述】：

我将数据存储在 Azure 存储表和 Blob 存储中。我想自动备份我的数据，以防止用户或软件问题意外损坏数据。 Microsoft 对此没有很好的解决方案，虽然有自动备份的付费解决方案，但似乎应该有一种直接的方式来备份和恢复这些数据。

【问题讨论】：

对于表存储，使用AzCopy。它工作正常，也可以在自动化脚本中使用。 azcopy.exe /Source:http://PathToYourTableStorage /Dest:C:\YourFolderPath /Key:StorageAccessKey1or2
您也可以在 CI 过程中使用this script。
我制作了this 节点脚本。它只备份对表的更改，因此您可以经常运行它。
一年后有这个功能的消息吗？
@Serge，看看我在下面给出的这个问题的答案。我已使用 2018 年 1 月从 Microsoft 支持部门获得的信息对其进行了更新。简短的版本是，不，没有比去年这个时候更好的表和 blob 存储备份支持了。

标签： azure azure-storage azure-blob-storage

【解决方案1】：

在对自动备份数据的最佳方法进行了大量研究后，我发现最简单的方法是在使用 AZCopy 的 Azure 虚拟机上的 Windows 任务计划程序中安排作业。 AZCopy 负责将表数据移动到 VM 中，然后返回到 Azure 中的辅助 blob 存储以保存备份。该批处理文件还会导致 AZCopy 将 blob 从源存储帐户直接复制到目标帐户中。

您可以在此链接中查看我如何完成这项工作的详细说明，其中包含指向我用来自动备份的批处理文件的链接： http://www.eastfive.com/2016/03/01/automated-backup-of-azure-storage-tables-and-blobs/

2018 年 2 月 8 日更新此答案： 我在 2018 年 1 月 18 日向 Azure 支持人员提出了这个问题，假设他们现在肯定有办法通过 Azure 中的服务来做到这一点。不幸的是，情况并非如此，并且（根据 Microsoft 支持）没有比第一次提出这个问题时存在的更好的方法来进行表备份。这是来自 2018 年 1 月 24 日支持的答案：

“我已经审查了你的案子，很遗憾没有办法对整个帐户或容器进行快照，因此是唯一的方法使用 Azure 存储做快照是通过 blob 迭代和应用快照然后将快照迁移到辅助帐户。或者您可以简单地将实际文件复制到另一个帐户但这会有更高的延迟并且存储成本更高容量，快照将占用更少并且更快转让。
我们支持的传输方法是 AzCopy 和可用于进行自定义迁移的数据移动库 Java 或 C# 中的解决方案。
如果您想自动化这些流程那么您可以通过 Powershell 和 Azure 自动化或使用 Azure Functions，但可能需要这些解决方案的帮助纯粹作为我的团队通过另一个支持请求提出支持 Azure 存储。”

因此，仍然不存在自动执行这些备份的方法。我的团队正在开发一个库来进行备份。当我们完成后，我会在这里发布。

2018 年 5 月 8 日更新此答案： 如前所述，我的团队一直在开发一个库来自动备份。您可以在这里找到该项目： https://github.com/eastfivellc/EastFive.Azure.Storage.Backup。请随时贡献。

2018 年 10 月 18 日更新此答案： 我能够使用 Azure 数据工厂功能在 Azure 中复制数据。我使用数据工厂将数据从源传输到表和 blob 的目标存储。但是，数据移动成本非常高（每次备份数百美元）。因此，这不是备份的解决方案。正如我在上面的帖子（以及下面的答案）中提到的，Azure 数据移动库是这里的最佳解决方案。

【讨论】：

您可能需要重新检查您对 AzCopy 的使用，因为无需将 blob 复制到中间 VM；它旨在直接复制 blob 到 blob。使用表存储，您确实需要复制数据，即使稍后将 json/csv 存储在 blob 中也是如此。
@DavidMakogon，感谢您在我的写作中发现这个错误。我已经更新了答案，以反映表数据是在本地提取的，而 blob 数据是直接推送到目标的。
对不起 - 只是澄清一下。很久很久以前，blob 复制只能通过先转移到临时空间来工作。不知道那个（数据不足）信息是否还在四处飘荡……
看看这个链接，大卫。它包含有关 AZCopy 的最新信息，并阐明在将 blob 从源复制到目标存储帐户时，复制是在服务器端完成的。 azure.microsoft.com/en-us/documentation/articles/…

【解决方案2】：

我们编写了一个用于备份表和 blob 的 .NET library。您可以在 azure 函数计时器触发器中轻松实现这一点。

在这个blog 中，我解释了如何使用 Azure 函数来实现它。

[FunctionName("Function1")]
public static async Task Run([TimerTrigger("0 */5 * * * *")]TimerInfo myTimer, ILogger log, ExecutionContext context)
{
  var sourceAccountName = Environment.GetEnvironmentVariable("BackupSourceAccountName");
  var sourceKey = Environment.GetEnvironmentVariable("BackupSourceAccountKey");

  var backupAzureStorage = new Luminis.AzureStorageBackup.BackupAzureStorage(sourceAccountName, sourceKey, log, context.FunctionAppDirectory);

  var destinationAccountName = Environment.GetEnvironmentVariable("BackupDestinationAccountName");
  var destinationKey = Environment.GetEnvironmentVariable("BackupDestinationAccountKey");
  var destinationContainerName = Environment.GetEnvironmentVariable("BackupDestinationContainer");

  // Backup Tables
  await backupAzureStorage.BackupAzureTablesToBlobStorage("table1,table2", destinationAccountName, destinationKey, destinationContainerName, "tables");

  // Backup Blobs
  await backupAzureStorage.BackupBlobStorage("container1,container2", destinationAccountName, destinationKey, destinationContainerName, "blobs");
}

【讨论】：

【解决方案3】：

您还可以使用第 3 方工具，例如 Cerebrata Azure Management Cmdlets 或 Microsoft Azure 存储团队宣布的 Asynchronous Copy Blob 功能，这实际上允许您将数据从一个存储帐户复制到另一个存储帐户，而无需在本地下载数据。

查看帖子了解更多信息：What is the best way to backup Azure Blob Storage contents。

希望这会有所帮助。

【讨论】：

德里克，感谢您的评论。我查看了 Cerebrata Cmdlets，它们看起来很有希望，但它们是 125 美元，我对 AZCopy.exe 的批处理命令是免费的。此外，如果您查看我上面的回复，您会发现我已经澄清 AZCopy 会在服务器端复制 blob，因此它们永远不需要离开 Azure。表存储是另一回事——表数据必须在本地提取，至少在这一点上是这样。感谢您的反馈。
@Keith Holloway，对不起，我没有注意到这一点，当我附上的帖子发布时，AzCopy 应该还没有公布。到目前为止，AzCopy 应该是在 Azure 中备份数据的最佳方式。
Cerebrata Azure 管理 Cmdlet 已停产！

【解决方案4】：

看看Microsoft Azure Storage Data Movement Library

这似乎提供了 AzCopy 的大部分功能，但在一个 nuget 包中，因此您几乎可以在任何您喜欢的地方使用它。

我们在一个触发的网络作业中运行它，它似乎在表和 blob 存储备份方面都表现得非常好。

【讨论】：

从我的原始答案中查看此链接：eastfive.com/2016/03/01/… 我们在 WebJob 中使用相同的库。我同意你的观点，目前，这是备份 AST 的最佳方式。另一方面，我通过 Azure 数据工厂测试了备份。这会奏效，但数据移动的代价太高，以至于这不是一个可行的解决方案。我同意 - WebJob 中的 DML 是最佳选择。
这很有趣。我几乎想为它实现我自己的解决方案。
@KeithHolloway 我也想知道使用数据工厂，所以很高兴知道这可行，但不可行:)
Carl，你说这适用于表存储备份，但我在这个 github 上没有看到任何与表相关的内容。有一个开放的功能请求表支持。你如何使用这个包来备份 azure 表？

【解决方案5】：

如果你还在寻找这个问题的解决方案，请查看我在 NuGet 上发布的一个包AzureTableUtilities

您可以将表复制到文件或 blob 文件、从文件或 blob 文件恢复表以及复制到同一帐户或不同帐户的另一个表。还可以对 PartitionKey 和 Timestamp 进行过滤。

我还创建了一个参考命令行代码库并将其放在GitHub 上，它允许从命令行或 Docker 容器执行此代码。

如果这与您想要的不完全匹配，请告诉我，我会看看是否可以增强功能。我意识到该工具本身不会“自动”备份 Azure Tables 数据。但是，直接在 Windows 下或在 Docker 容器中使用命令行示例，我认为您可以设置您想要备份的任何进程。

【讨论】：

【解决方案6】：

您可以使用 Microsoft Azure 存储资源管理器来复制/粘贴表格、上传/下载文件系统、Blob、Cosmos、Data Lake 等，这是非常用户友好的工具。

下载链接：https://azure.microsoft.com/en-in/features/storage-explorer/

【讨论】：

此站点的 Azure 存储资源管理器也是一个有用的工具：archive.codeplex.com/?p=azurestorageexplorer。但是，这些工具不提供自动备份，这是本文所涵盖的内容。