如何将大量数据（50 TB）从本地 SAP Hana 迁移到 GCP [关闭]答案

【问题标题】：How to migrate huge data (50 TBs) from On-premise SAP Hana to GCP [closed]如何将大量数据（50 TB）从本地 SAP Hana 迁移到 GCP [关闭]
【发布时间】：2021-03-23 17:24:20
【问题描述】：

上下文：

数据仓库是使用 SAP BW On HANA 构建的。它运行了相当长的一段时间。它有超过 50TB 的数据。作为一项战略决策，必须将 GCP 上的数据迁移到 BigQuery（一次性活动）。

问题：

导出如此庞大的数据的最佳、非侵入性方式是什么，采用 BigQuery 格式。上传这不是问题，因为它可以通过专用的云互连上传。

【问题讨论】：

您的问题缺乏细节，可能过于宽泛。例如，您声明“采用 BigQuery 格式”。现在是什么格式？ “最佳、非侵入性方式”对您的公司意味着什么？展示您已经完成的研究以及您遇到的问题。今天，100 MB 的速度很容易实现。移动/翻译/导入 50 TB 的数据仍然需要数百个机器小时才能执行。这意味着“非侵入式”可能是一个问题。

标签： google-bigquery hana data-migration sap-bw

【解决方案1】：

根据 Google 的最佳做法，您应该使用 Transfer Appliance 来传输数据。

但如果您想尝试专用的云互连，您可以尝试一下。 传输数据：您可以尝试以下选项：-

通过文件从 HANA DB 导出数据。
通过您想要的渠道将文件传输到云存储。
在 GCS 上获得数据后，您可以通过多个选项将数据上传到 Bigquery（从 GCS 导出数据、创建数据流作业和将数据上传到 BQ 的脚本）

【讨论】：