【问题标题】:Moving files among azure blob without downloading在 azure blob 之间移动文件而不下载
【发布时间】:2020-04-23 18:31:22
【问题描述】:

目前,我有一个包含大约 5TB 存档文件的 blob 容器。我需要将其中一些文件移动到另一个容器。这是一种避免下载和上传相关文件的方法吗?我不需要访问这些文件的数据。我也不想收到任何关于阅读存档文件的账单。

谢谢。

【问题讨论】:

    标签: azure blob azure-blob-storage


    【解决方案1】:

    我建议你可以使用Data Factory。它通常用于传输大数据。

    Copy performance and scalability achievable using ADF:

    您可以从以下教程中学习: Copy and transform data in Azure Blob storage by using Azure Data Factory

    希望这会有所帮助。

    【讨论】:

    • 谢谢。对于服务器到服务器的数据迁移,带宽有什么用?是数据级还是元数据级运行?
    • @scegg 我认为这是源数据级别。 ADF 提供了一种无服务器架构,允许不同级别的并行性,它允许开发人员构建管道以充分利用您的网络带宽以及存储 IOPS 和带宽,从而最大限度地提高您环境的数据移动吞吐量。这意味着您可以通过测量源数据存储、目标数据存储以及源和目标之间的网络带宽提供的最小吞吐量来估算您可以实现的吞吐量。
    • 请记住,使用 ADF 会产生一定的成本,但如果这是一次性移动,它可能会非常少。
    【解决方案2】:

    您可以为此使用azcopy。它是一个命令行工具,可用于启动服务器到服务器的传输:

    AzCopy 使用服务器到服务器 API,因此数据直接在存储服务器之间复制。这些复制操作不使用您计算机的网络带宽。

    【讨论】:

    • 谢谢。是数据级别还是元数据级别的操作?因为访问归档文件的数据需要几个小时的等待时间。
    猜你喜欢
    • 2017-08-12
    • 1970-01-01
    • 2017-08-20
    • 2011-10-08
    • 1970-01-01
    • 2020-07-24
    • 2021-01-04
    • 2013-09-07
    相关资源
    最近更新 更多