【问题标题】:Steaming insert / insertAll - long delay?Steaming insert / insertAll - 长时间延迟?
【发布时间】:2014-04-04 15:35:32
【问题描述】:

我正在从 google api for python 将数据流式传输到 BigQuery 上的表中。

我在 bigQuery 的响应中得到 200 OK,但没有“insertErrors”键:

{u'kind': u'bigquery#tableDataInsertAllResponse'}

如果我查询我的表,则只有 2 行,尽管我在不久前(20 分钟以上)插入了几条额外的记录。

我在任何地方都看不到任何错误 - 有人可以告诉我如何调试这个问题吗?

【问题讨论】:

  • 请分享一些您刚刚执行的作业ID,通常会有一些延迟,几分钟,但不应在十分钟范围内。
  • 我是 bigquery 的新手,如果这是一个愚蠢的问题,请原谅,但是我如何获取/查找流插入的作业 ID?
  • 这里有类似的 PHP 代码:stackoverflow.com/questions/22150608/…
  • 我认为流式插入的工作方式不同。我正在遵循本页底部概述的方法:developers.google.com/bigquery/streaming-data-into-bigquery(请参阅示例的 Python 选项卡)

标签: python google-bigquery google-api-python-client


【解决方案1】:

我在这里找到了解决方案: https://stackoverflow.com/a/19145783/1607103

我通过在其中创建新数据集和新表解决了我遇到的问题。现在一切正常,数据在添加后几秒钟内可见。我的项目处于表结构经常更改的阶段,这似乎是问题的原因。我将确保修改后的表现在具有不同的名称。

我非常担心 bigquery 遇到不可见的问题。没有错误,也没有迹象(我知道)出现问题,这让我没有信心。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2013-11-08
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-07-16
    • 1970-01-01
    • 1970-01-01
    • 2012-10-16
    相关资源
    最近更新 更多