将 delta lake 从 Azure 迁移到 GCP

Question

我们希望将 delta lake 从 Azure 迁移到 GCP。 到目前为止，我们正在考虑将增量文件从一个 ADLS 存储桶移动到 GCS 存储桶。我们相信可能还有更多。 我们正在寻找一种方法、最佳实践和提示来完成迁移。任何人都可以帮忙吗？

Answer 1

您可能想查看sources and sinks of the Cloud Storage Transfer Service。其中一个来源 - 是 Azure Blob Storage, including Azure Data Lake Storage Gen2 - 我不知道这对你的情况是否有帮助。还有一些documentation about access configuration。

所有其他细节 - 取决于您的情况，很难提供一般性答案。