【问题标题】:Azure Lake to Lake transfer of filesAzure Lake 到 Lake 文件传输
【发布时间】:2019-04-15 19:58:38
【问题描述】:

我的公司有两个 Azure 环境。第一个是临时环境,正在重新使用/退役/我不确定。我所知道的是,我需要将文件从一个环境中的一个 Data Lake 获取到另一个环境中的 DataLake。我看过 adlcopy 和 azcopy ,但他们似乎都不会做我需要做的事情。有没有人遇到过这种情况,如果有,你是用什么解决的?

【问题讨论】:

  • azcopy 具有复制内容的能力,您遇到了什么挑战,或者您为什么认为这不是您想要的?
  • 如果从 Blob 到 Blob,AzCopy 的唯一功能就是从 Lake 到 Lake。为了节省时间,我们正在创建一个工厂来从 Lake 复制到 Blob,然后从 Blob 复制到 Blob,然后再从 Blob 复制到 Lake。它们位于完全不同的 Azure 实例上。

标签: azure azure-storage azure-data-lake data-lake


【解决方案1】:

也许您可以考虑Azure Data Factory,它可以帮助您将文件或数据从一个 Azure Data Lake 传输到另一个 Data Lake。

您可以参考Copy data to or from Azure Data Lake Storage Gen2 using Azure Data Factory

本文概述了如何使用 Azure 数据工厂中的复制活动将数据复制到 Data Lake Storage Gen2 和从中复制数据。它建立在复制活动概述文章的基础上,该文章提供了复制活动的一般概述。

例如,您可以学习本教程:Quickstart: Use the Copy Data tool to copy data

在本快速入门中,您将使用 Azure 门户创建数据工厂。然后,使用复制数据工具创建一个管道,将数据从 Azure Blob 存储中的一个文件夹复制到另一个文件夹。

希望这会有所帮助。

【讨论】:

  • 感谢您提供这些资源。我们仍然无法找到任何东西可以直接从一个 Azure 实例中的一个湖复制到一个完全独立的 Azure 实例。相反,我们正在做一个数据工厂管道来将湖复制到 Blob,然后使用 AzCopy 从 Blob 到 Blob,然后我们将创建另一个管道来将 Blob 复制到 Lake。 :)
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2023-03-26
  • 2019-06-05
  • 1970-01-01
  • 2020-11-22
  • 2019-11-13
  • 1970-01-01
相关资源
最近更新 更多