如何将数据从 Azure Data Lake 移动到 Windows 虚拟机

Question

我需要调查将文件从 azure 数据湖存储文件夹移动到 azure windows 虚拟机。

只是想知道我的选择是什么——我看过 Azcopy，它看起来可能有效——尽管我可能需要使用 datafactory 将数据转移到 blob 存储中。我不确定 Azcopy 是否能够从数据湖加载数据。

从https://docs.microsoft.com/en-us/azure/machine-learning/team-data-science-process/move-sql-server-virtual-machine得到这个想法

我的 BCP 数据应该放在哪里？ 虽然不是必需的，但将包含源数据的文件与目标 SQL Server 放在同一台机器上可以实现更快的传输（网络速度与本地磁盘 IO 速度）。 您可以使用各种文件复制工具（例如 AZCopy、Azure 存储资源管理器或通过远程桌面协议 (RDP) 的 windows 复制/粘贴）将包含数据的平面文件移动到安装了 SQL Server 的计算机。

编辑：How to copy data to Azure file service using Azure data factory - 据此，Azcopy 可以通过 AzCopy 转到文件共享并将 VM 映射到那里。

是否可以使用虚拟机作为接收器进行文件复制活动 - 如果可以，我需要网关吗？

编辑：看起来可以复制到虚拟机，并且需要网关。 How to copy data to VM from blob storage?

谢谢， 蒂姆

Answer 1

您可以使用 Azure CLI 2.0 和 Azure Power Shell 将文件下载到您的 Windows VM。

请看这个official document。

你需要先在你的VM上安装Azure CLi 2.0，你可以下载msi安装文件直接安装，见link。使用以下命令将文件下载到本地虚拟机。

az dls fs download --account mydatalakestore --source-path /mynewfolder/vehicle1_09142014_copy.csv --destination-path "C:\mysampledata\vehicle1_09142014_copy.csv"

您也可以使用 Azure Power Shell 执行此操作。有关此的更多信息，请参阅此link。