【问题标题】:BigQuery not returning any rows with --max_rows set to large valueBigQuery 不返回任何 --max_rows 设置为较大值的行
【发布时间】:2019-06-22 00:31:26
【问题描述】:

使用bq 命令行工具时,如果我将--max_rows 设置为很大的数字,则不会返回任何内容。

我正在尝试使用bq 命令行工具来收集数据。我已经映射出我的查询,现在我只需要能够以编程方式在脚本中返回结果。我想做类似以下的事情:

cat query_file | bq --bigqueryrc=/path/to/file --format=json --headless -q query --use_legacy_sql=false --max_rows=100000 > /path/to/file.json

上述查询在我的本地机器上运行良好,但是,当我尝试使用服务帐户运行相同的查询时,没有任何内容输出到文件中。

如果我将--max_rows 设置为更小的值,例如 1000,则查询将起作用并返回 1000 行。但是当设置为 10,000 这样的大值时,它不会返回任何内容。

服务帐户有什么不同之处会影响--max_rows 设置吗?我一生都无法弄清楚为什么它在本地可以正常工作,但不能使用服务帐户。

额外信息

  • 本地计算机是 OSX,使用 gcloud 命令行工具 BigQuery CLI 2.0.40 中的 bq

  • 运行服务帐户的机器是 Ubuntu 18.04,使用 gcloud 命令行工具 BigQuery CLI 2.0.40 中的 bq

编辑

我能够在本地使用服务帐户并使其与--max_rows 一起正常工作,因此问题似乎特定于运行查询的环境。

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    问题解决了!我在 Kubernetes Pod 中运行 bq 命令,由于内存限制,该进程被静默杀死。增加允许命令成功完成的内存请求。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2016-11-17
      • 2020-06-17
      • 1970-01-01
      • 2020-01-11
      • 1970-01-01
      • 1970-01-01
      • 2015-11-04
      相关资源
      最近更新 更多