将 50GB 以上的大文件（数据库备份）复制到整个生产环境到开发环境答案

【问题标题】：Copying large files(DB backups) 50GB+ to across the prod to dev environmetns将 50GB 以上的大文件（数据库备份）复制到整个生产环境到开发环境
【发布时间】：2022-01-11 13:56:34
【问题描述】：

我们希望每月将数据库备份从 Prod 复制到 dev environemtns。但文件大小约为 50GB+。有什么方法可以快速完成。

【问题讨论】：

不幸的是，正如所写，真的没有办法客观地回答这个问题。此外，根据您的标签，尚不清楚您要做什么。 SharePoint 与 Blob 存储有何关系？你的备份在哪里？什么是“prod”和“dev”环境（不清楚您正在复制什么，或者您如何尝试复制，或者这是否在 Azure 中，如果是，环境是否位于同一区域或不同区域地区等）？你写了什么代码来做到这一点？你遇到了什么问题？另外：像“快速”这样的东西真的无法量化。
我的数据库备份在 prod 服务器驱动器中。以前我使用 Sharepoint 传输文件。文件大小使用 20GB 到 25GB。但现在有些文件甚至超过 45 GB+。在尝试将这些文件上传到共享点时，它会花费大量时间，而且每次都在某些 extint 后失败。
使用具体细节编辑您的问题非常重要，而不是添加 cmets。但是...从您的评论来看，这似乎是一个非编程问题，更像是一个更适合 ServerFault 的数据复制问题。只知道您需要包含非常具体的细节。现在，即使有您的附加评论，也不够具体（例如“很多时间”非常模糊）

标签： azure sharepoint azure-blob-storage

【解决方案1】：

在这种情况下，您可以尝试使用“Azcopy”实用程序，因为您可以将文件从服务器的驱动器传输/复制到 Azure Blob 存储容器或 ADLS（Azure Data Lake Storage）Gen2 容器。在没有 Internet 带宽吞吐量限制的情况下，它以 4 GB 的块大小以每小时 100 GB 的最大速率传输数据。

要配置它以获得最佳性能，请使用带有“NC”参数的“Azcopy”实用程序，因为这意味着不会向 Azcopy 实用程序发出并发请求以进行文件传输。此外，请确保在传输作业时将文件大小限制设置为小于 1TB。

有关配置 Azcopy 实用程序以实现文件传输和优化性能参数的更多详细信息，请参阅以下链接：-

https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-optimize#increase-concurrency

https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-files

【讨论】：

谢谢大家的建议。我现在使用 Azure blob 存储资源管理器来传输大文件。在我看来，这是一种快速且不间断的方法。