【问题标题】:Converting massive .bak files to .parquet for upload to BigQuery将大量 .bak 文件转换为 .parquet 以上传到 BigQuery
【发布时间】:2022-11-07 23:35:42
【问题描述】:

我在 Google Drive 上有 12 个文件,每个文件大约 20GB,它们是.bak 文件格式的数据库备份。我想将它们上传到 BigQuery 进行分析,但是 BigQuery 无法处理 .bak 文件,需要 csvparquet 文件。我目前打算把每个文件下载到本地机器,上传到微软的SQL Studio,转换成.parquet,然后上传从我的本地机器(笔记本电脑)向 BigQuery 提交文件,但这既漫长又痛苦。有一个更好的方法吗?

【问题讨论】:

  • 不是真的,除非你使用外部工具。也许 ApexSQL Litespeed 可以做到这一点
  • 我们正在寻求做类似的事情(.bak 到镶木地板)您能找到解决方案吗?我们希望它成为每天运行的阶梯函数的一部分......
  • 还没有!最终尝试手动执行此操作:(
  • 我正在寻找做类似的事情。将多个数据库移动到大查询,但似乎没有找到比手动更简单的方法。你最后是怎么做到的?

标签: sql-server google-cloud-platform google-bigquery database-backups


【解决方案1】:

我有同样的问题,我正在考虑将 .bak 文件复制到存储帐户的最糟糕的步骤。在具有大量内存的 VM 上创建 SQL,然后运行 ​​ADF 将 SQL 数据复制到 Parquet。除非其他人有更好的选择。

【讨论】:

    猜你喜欢
    • 2020-09-22
    • 1970-01-01
    • 2012-09-21
    • 2021-09-30
    • 2018-07-31
    • 2023-02-07
    • 1970-01-01
    • 2018-11-08
    • 1970-01-01
    相关资源
    最近更新 更多