我使用python代码将数据从bigquery导出到gcs，然后使用gsutil导出到s3！但是导出到gcs后，我注意到有些文件超过5 GB，gsutil无法处理？所以我想要知道限制大小的方法
【问题讨论】：
标签： google-bigquery google-cloud-storage
尝试使用单个通配符 URI
请参阅Exporting data into one or more files 的文档
如果您认为导出的数据将是 大于 BigQuery 的 1 GB 每个文件的最大值。 BigQuery 分片 根据提供的模式将您的数据放入多个文件中。如果你 在文件名以外的 URI 组件中使用通配符，请确保 导出数据之前路径组件不存在。
属性定义：
['gs://[YOUR_BUCKET]/file-name-*.json']
创建：
gs://my-bucket/file-name-000000000000.json
gs://my-bucket/file-name-000000000001.json
gs://my-bucket/file-name-000000000002.json ...属性定义：
['gs://[YOUR_BUCKET]/path-component-*/file-name.json']
创建：
gs://my-bucket/path-component-000000000000/file-name.json
gs://my-bucket/path-component-000000000001/file-name.json
gs://my-bucket/path-component-000000000002/file-name.json
【讨论】：
所以在问题跟踪器之后，正确的做法是。
['gs://[YOUR_BUCKET]/file-name.json']
如果您希望 BigQuery 将数据导出到单个 URI，请使用单个 URI 文件。使用此方法导出的最大数据为 1 GB。
请注意，数据大小最大为 1GB，1GB 不用于导出的文件大小。
URI ['gs://[YOUR_BUCKET]/file-name-*.json']
如果您认为导出的数据集将是 大于 1 GB。 BigQuery 将您的数据分片到多个文件中 在提供的模式上。导出的文件大小可能会有所不同，并且文件不会 大小相同。
因此，当您的数据大小超过 1 GB 时，您需要再次使用此方法，并且生成的文件大小可能会有所不同，并且可能会超过 1 GB，正如您提到的那样，此方法会发生 5GB 和 160Mb 对。
多个通配符 URI
['gs://my-bucket/file-name-1-*.json',
'gs://my-bucket/file-name-2-*.json',
'gs://my-bucket/file-name-3-*.json']
如果要对导出输出进行分区，请使用多个通配符 URI。 如果您正在运行并行处理作业，您将使用此选项 使用 Google Cloud Platform 上的 Hadoop 等服务。确定如何 许多工作人员可用于处理工作，并为每个工作人员创建一个 URI 工人。 BigQuery 将每个 URI 位置视为一个分区，并使用 并行处理将您的数据分片到每个文件中的多个文件中 位置。
这同样适用于此处，导出的文件大小可能会超过 1 GB。
【讨论】：