【问题标题】:Is uploading directly to BigQuery faster than uploading to Cloud Storage?直接上传到 BigQuery 是否比上传到 Cloud Storage 更快?
【发布时间】:2016-03-29 19:41:34
【问题描述】:

我正在将一个分隔文件从我的 PC 上传到 BigQuery。我可以通过两种方式做到这一点:

  • 上传到 Cloud Storage,然后加载到 BQ
  • 直接上传到BQ

这些方法的上传时间有区别吗?

【问题讨论】:

    标签: google-bigquery google-cloud-storage google-cloud-platform


    【解决方案1】:

    不,无论哪种方式都通过相同的基础架构。

    直接上传到 BQ 的优点是更简单:只需与一个服务交互。

    上传到 GCS 的优势在于它为您提供了更大的灵活性。如果加载作业碰巧失败(错误的架构等),您可以重复加载作业而无需重新上传,并且您可能有其他原因需要 GCS 中的数据副本(加载到其他系统等)。

    【讨论】:

    • 我是这么想的,但我想仔细检查一下。
    • 如果您的数据集很大,无需再次上传数据即可重复加载作业的能力使得首先加载到 GCS 的附加步骤非常值得。
    猜你喜欢
    • 2018-01-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-06-20
    • 1970-01-01
    • 1970-01-01
    • 2017-03-20
    • 1970-01-01
    相关资源
    最近更新 更多