在循环中从 bigquery 查询数据时出现错误的请求错误

Question

我正在循环使用下面提到的 get_data_from_bq 方法从 bigquery 查询数据：

def get_data_from_bq(product_ids):
    format_strings = ','.join([("\"" + str(_id) + "\"") for _id in product_ids])
    query = "select productId, eventType, count(*) as count from [xyz:xyz.abc] where productId in (" + format_strings + ") and eventTime > CAST(\"" + time_thresh +"\" as DATETIME) group by eventType, productId order by productId;"
    query_job = bigquery_client.query(query, job_config=job_config)
    return query_job.result()

虽然返回的第一个查询（迭代）数据是正确的，但所有后续查询都抛出下面提到的异常

    results = query_job.result()
  File "/home/ishank/.local/lib/python2.7/site-packages/google/cloud/bigquery/job.py", line 2415, in result
    super(QueryJob, self).result(timeout=timeout)
  File "/home/ishank/.local/lib/python2.7/site-packages/google/cloud/bigquery/job.py", line 660, in result
    return super(_AsyncJob, self).result(timeout=timeout)
  File "/home/ishank/.local/lib/python2.7/site-packages/google/api_core/future/polling.py", line 120, in result
    raise self._exception
google.api_core.exceptions.BadRequest: 400 Cannot explicitly modify anonymous table xyz:_bf4dfedaed165b3ee62d8a9efa.anon1db6c519_b4ff_dbc67c17659f

编辑 1： 下面是一个引发上述异常的示例查询。此外，这在 bigquery 控制台中运行顺利。

select productId, eventType, count(*) as count from [xyz:xyz.abc] where productId in ("168561","175936","161684","161681","161686") and eventTime > CAST("2018-05-30 11:21:19" as DATETIME) group by eventType, productId order by productId;

Answer 1

我遇到了完全相同的问题。问题不在于查询本身，而在于您很可能重用了相同的QueryJobConfig。当您执行查询时，除非您设置 destination，否则 BigQuery 会将结果存储在一个匿名表中，该表在 QueryJobConfig 对象中声明。如果您重复使用此配置，BigQuery 会尝试将新结果存储在同一个匿名表中，因此会出现错误。 老实说，我不是特别喜欢这种行为。

你应该这样重写你的代码：

def get_data_from_bq(product_ids):
    format_strings = ','.join([("\"" + str(_id) + "\"") for _id in product_ids])
    query = "select productId, eventType, count(*) as count from [xyz:xyz.abc] where productId in (" + format_strings + ") and eventTime > CAST(\"" + time_thresh +"\" as DATETIME) group by eventType, productId order by productId;"
    query_job = bigquery_client.query(query, job_config=QueryJobConfig())
    return query_job.result()

希望这会有所帮助！

Answer 2

已编辑：

Federico Bertola 在解决方案和 BigQuery see this link 写入的临时表上是正确的。

我上次从公共表查询示例代码时没有收到错误，但我今天可以重现该错误，因此此症状可能会出现间歇性。根据 Federico 的建议，我可以确认错误已得到解决。

---

当查询字符串在查询中的参数周围缺少引号时，您可能会收到“super(QueryJob, self).result(timeout=timeout)”错误。您的查询中的参数 format_strings 似乎也犯了类似的错误。您可以通过确保参数周围有引号转义来解决此问题：

(" + myparam + ")

，应该写成

(\"" + myparam + "\")

您应该检查使用参数的查询字符串，并从更简单的查询开始，例如

select productId, eventType, count(*) as count from `xyz:xyz.abc`

，并随着你的发展增加你的查询。

为了记录，这对我有用：

from google.cloud import bigquery
client = bigquery.Client()
job_config = bigquery.QueryJobConfig()

def get_data_from_bq(myparam):  
    query = "SELECT word, SUM(word_count) as count FROM `publicdata.samples.shakespeare` WHERE word IN (\""+myparam+"\") GROUP BY word;"
    query_job = client.query(query, job_config=job_config) 
    return query_job.result()

mypar = "raisin"
x = 1
while (x<9):
    iterator = get_data_from_bq(mypar)
    print "==%d iteration==" % x
    x += 1