【问题标题】:Using multiple '*' patterns when loading into BigQuery won't work加载到 BigQuery 时使用多个“*”模式不起作用
【发布时间】:2015-02-27 01:36:01
【问题描述】:

我们在加载到 BigQuery 时尝试使用 glob 模式,例如:

gs://<bucket_name>/Network*Impressions_12345_20150201*

我们的存储桶中有“..NetworkImpressions_..”和“..NetworkBackfillImpressions_..”,因此我们使用第一个“*”来收集这两种类型的文件。但 BQ 不满意:

"未找到:URI gs://backup-gdfp-7415/Network*Impressions_232503_20150101_20*"

文件确实存在。如果我们删除第一个“*”,它会正常工作(并且当我们明确指定两种类型时)。

这是我们尝试使用模式的失败加载作业的作业 ID:job_LXNGEAeWsaU9HyFgcCCJMHu8YtY

我认为 BigQuery 应该可以做到这一点?

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    来自加载作业配置sourceUris parameter的文档:

    [必需] 指向您在 Google Cloud Storage 中的数据的完全限定 URI。 只有出现在 URI 末尾的通配符名称才受支持。

    【讨论】:

    • 面对手掌!在doco里错过了。谢谢!有没有机会将此添加为功能请求?
    • 在文档中没有更新这一点的澄清,但 URI 中的通配符应该可以工作,而不是多个 URIS。所以 gs://foo/bar*.csv 应该可以使用。
    猜你喜欢
    • 2019-07-06
    • 2015-12-06
    • 2020-11-02
    • 2016-07-07
    • 1970-01-01
    • 2020-07-15
    • 1970-01-01
    • 2012-12-25
    • 2019-01-03
    相关资源
    最近更新 更多