即使使用 --allow_large_results “响应太大而无法返回”

Question

有时在多次成功处理 100 万行数据集后，我收到“响应太大而无法返回”错误消息。当我尝试 200 万行数据集时，抛出了相同的消息。交易大小有限制吗？

错误信息： 查询操作中的 BigQuery 错误：错误处理作业“...”：响应太大而无法返回。

已提交查询： bq --project_id=... 查询 --destination_table ... --append_table --use_cache --allow_large_results "select ... from ... limit 1000000"

Answer 1

即使设置了--allow_large_results，具有LIMIT 子句的查询也会导致此错误。强制执行LIMIT 子句会强制所有输出数据通过单个节点，从而消除返回大结果的能力。尝试从您的查询中删除 limit 1000000。

我们正在努力将其添加到 documentation for large query results 的限制中，但尚未添加。