【问题标题】:How to copy data to Azure file service using Azure data factory如何使用 Azure 数据工厂将数据复制到 Azure 文件服务
【发布时间】:2017-03-06 19:47:21
【问题描述】:

我在 Azure VM(Windows 操作系统)中安装了一个软件,它对数据进行分析。我在 Azure BLOB 存储中有 500+ GB 数据需要由该软件处理。

我想知道

  1. 可以将 BLOB 存储作为虚拟硬盘附加到此 VM 或
  2. 是否可以使用 Azure 数据工厂将数据从 BLOB 存储复制到 Azure 文件服务?

或者我应该将数据保存在 Azure 文件服务本身中,以便该软件无需复制操作即可直接访问数据?

【问题讨论】:

    标签: azure azure-blob-storage azure-data-factory


    【解决方案1】:

    可以将 BLOB 存储作为虚拟硬盘附加到此 VM

    据我所知,作为 Page Blob 上传到 Azure Blob 存储的 VHD 文件可以装载并附加到 VM。 windows虚拟机如何挂载数据盘,可以参考这个官方tutorial

    是否可以使用 Azure 数据工厂将数据从 BLOB 存储复制到 Azure 文件服务

    Introduction to Azure Data Factory 的数据移动活动部分,我们可以发现数据工厂默认不支持 Azure 文件存储。为了通过数据工厂将数据从 Blob 存储复制到 Azure 文件服务,您需要使用自定义活动。更多详情可以参考Use custom activities in an Azure Data Factory

    或者我应该将数据保存在 Azure 文件服务本身中,以便该软件无需复制操作即可直接访问数据?

    在我看来,这是将数据保存在 Azure 文件存储中的理想方法。通过这种方式,您的 VM 可以连接到文件共享,然后它可以像对本地文件共享一样读取和写入文件。

    正如您所说,您的文件存储在 Azure Blob Storage 中,我建议您可以按照以下步骤来实现它:

    1.通过 AzCopy 从 blob 复制到文件共享

    AzCopy /Source:https://myaccount1.blob.core.windows.net/mycontainer/ /Dest:https://myaccount2.file.core.windows.net/myfileshare/ /SourceKey:key1 /DestKey:key2 /S

    更多详情可以参考官方tutorial

    2.在 windows VM 上映射 Azure 文件共享驱动器

    net use z: \\<your-storage-account-name>.file.core.windows.net\<file-share-name> /u:<your-storage-account-name> <your-storage-account-key>

    注意:为了从 Azure 文件共享映射网络驱动器,文件共享可用于与存储帐户位于同一区域的 VM。更多详情可以参考Introducing Microsoft Azure File Service

    【讨论】:

    • 谢谢布鲁斯的回答。项目需求发生了变化。现在的要求是将文件从 blob 存储复制到 azure vm 磁盘。甚至可能吗?并将一个 csv 文件从 azure vm 复制到 azure SQL 存储。
    • 您可以利用 AzCopy 将 blob(文件)从 Azure Blob 存储复制到您的 VM。您是说将处理后的 csv 文件从您的 VM 复制到 Azure SQL 数据库吗?如果是这样,请尝试关注此tutorial。或者您可以向我提供有关您的新要求的更多详细信息(例如手动或以编程方式复制您的文件)。
    【解决方案2】:

    今天的 Azure 数据工厂确实支持写入文件系统。文件存在于本地机器、Linux 服务器或 Azure VM 中。

    猜你喜欢
    • 2021-10-21
    • 1970-01-01
    • 2021-05-12
    • 2021-05-01
    • 2022-01-18
    • 2021-09-02
    • 1970-01-01
    • 2019-11-19
    • 1970-01-01
    相关资源
    最近更新 更多