带过滤器的大查询提取

Question

您好，我是大查询的新手。我有一些情况，我的项目需要从大查询结果中导入。这里我遇到了一些问题：

1. 如果我使用 bq extract，那么我不能使用 filter 或 where 条件
2. 如果我使用 bq 查询然后将结果保存到一些文件中，我们的服务器无法处理如此大的数据。并且数据本身的某些字段可能包含逗号和竖线字符。

我能否以最有效的方式达到可以使用过滤器导出或提取的条件？

谢谢

Answer 1

EXPORT DATA 语句允许您在单个作业中将查询与将数据提取到 Cloud Storage 结合起来。

在此处查看更多详细信息：

https://cloud.google.com/bigquery/docs/reference/standard-sql/other-statements

EXPORT DATA OPTIONS(
  uri='gs://mybucket/my-path-prefix/*',
  format='CSV',
  header=true) AS
SELECT field1, field2, field3 FROM mydataset.mytable WHERE some_condition