【问题标题】:Batch with Google Bigquery and Python使用 Google Bigquery 和 Python 进行批处理
【发布时间】:2016-12-29 09:10:25
【问题描述】:

使用 Google Bigquery Api 在 python 中执行批量插入的最有效方法是什么。我试图在大型数据集(1 000 000 +)上使用此code 执行流行,但插入它们需要一段时间。有没有更高效的方式在 Python 中插入大型数据集?

  • 表已经存在,并且有信息。
  • 我有一个要插入的 1 百万数据点列表
  • 我想用 Python 来做,因为我会多次重用代码。

【问题讨论】:

    标签: python google-bigquery gcloud


    【解决方案1】:

    我认为流式传输(插入所有 API)在您的情况下没有意义
    你宁愿试试Load Job
    参见documentation中的python代码示例

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-12-30
      • 1970-01-01
      • 2016-12-27
      • 1970-01-01
      • 2012-12-19
      • 1970-01-01
      相关资源
      最近更新 更多