【问题标题】:Export results from BigQuery to file using bq query command使用 bq 查询命令将结果从 BigQuery 导出到文件
【发布时间】:2016-12-22 14:54:52
【问题描述】:

有没有办法使用

将结果从 BigQuery 导出到 csv 文件

bq query "SELECT name,count FROM mydataset.babynames WHERE gender = 'M' ORDER BY count DESC LIMIT 6" 命令。

我发现我们可以提供 --destination_table=mydataset.happyhalloween 参数,该参数将写入不同的表。有没有类似的方法将其写入文件?

我也试过 bq query "SELECT name,count FROM mydataset.babynames WHERE gender = 'M' ORDER BY count DESC LIMIT 6" > output.txt

但这会创建额外的标题

但我只想将结果写入文件

根据此线程上的答案,我尝试了以下查询, bq query --format=csv "SELECT commit FROM [bigquery-public-data:github_repos.commits] LIMIT 10" > output.txt 这更好,但我在文件 output.txt 中仍然有一些不必要的文本

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    有用的常用标志

    在 bq 和命令之间使用公共标志。如需完整的标志列表,请调用 bq --help。

    以下是一些最有用的标志:

    --apilog - Turn on logging of all server requests and responses. If no string is provided (--apilog=), log to stdout; if a string is provided, instead log to that file (--apilog=filename).
    
    --format [none|json|prettyjson|csv|sparse|pretty] - The output format.
    

    【讨论】:

    • 嘿,当我运行以下查询时,bq query --format=csv "SELECT commit FROM [bigquery-publi c-data:github_repos.commits] LIMIT 10" > output.txt 我在文件顶部仍然有一些不必要的文本。可以自己试试吗?
    • CSV 返回标题行,例如:输出的列。如果您还有其他问题,可以尝试添加 headless 和 quiet 标志:bq query -q --headless --format=csv "SELECT
    • 嘿,我试过这个命令: bq query --format=csv -q --headless "SELECT commit FROM [bigquery-public-data:github_repos.commits] LIMIT 10" > output.txt 我是仍然在输出文件的第一行获得“提交”文本:(
    • 你总是会得到 HEADER 行,commit 是列的名称。
    猜你喜欢
    • 2016-01-30
    • 2018-11-03
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-01-10
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多