使用 bigquery api 时表被截断（缓冲区大小问题？）答案

【问题标题】：Tables truncated when using bigquery api (buffer size issue?)使用 bigquery api 时表被截断（缓冲区大小问题？）
【发布时间】：2016-11-11 19:58:19
【问题描述】：

我正在运行以下命令：

bq query --format=csv SELECT GKGRECORDID, DATE,SourceCommonName,DocumentIdentifier, V2Persons, V2Tone, TranslationInfo, from [gdelt-bq:gdeltv2.gkg_partitioned] where V2Persons like "%Orban%" and _PARTITIONTIME >= TIMESTAMP(" 2016-11-09") 和 _PARTITIONTIME outputfile.csv

这应该会返回一个大约有 1000 行的表（当我在浏览器中使用普通的 bigquery 界面时得到的）。但是，当我使用 api 运行它时，它只会返回 100。

这似乎是缓冲区大小的问题，但我想我会问是否可以在 bigquery 端做一些事情（例如，一种以多个块发送查询输出的方法）来补救这。

谢谢！

【问题讨论】：

标签： google-bigquery buffer gdelt

【解决方案1】：

在命令行你可以指定返回多少行，默认最多100。

bq query -n 1500

请注意，无论请求多少行，压缩后的最大返回大小为 128MB。

【讨论】：

感谢 Pentium10——我在查看 --help 时错过了这一点。