使用 GCP 模板到 BigQuery 的 Cloud Storage 文本答案

【问题标题】：Cloud Storage Text to BigQuery using GCP Template使用 GCP 模板到 BigQuery 的 Cloud Storage 文本
【发布时间】：2020-01-28 20:29:55
【问题描述】：

但我得到了错误：

2018-03-30 (15:35:17) java.lang.IllegalArgumentException: Failed to match any files with the pattern: gs://.......

任何人都可以共享一个工作 CSV 文件以用作运行该管道的输入吗？

【问题讨论】：

【解决方案1】：

问题出在椅子和键盘之间，你只需要根据JSON文件中定义的数据结构创建一个CSV文件，并由JS文件转换。

【讨论】：

【解决方案2】：

我看到这个问题已经得到解答，但我遇到了类似的问题，这个答案对我来说是部分的 - 事实证明，模板中的路径模式（至少目前）不支持某些类型的模式。例如，对于给定 GCS 路径中跨多个子目录的多个 CSV 文件（这是我的用例）：

gs://bucket-name/dir/

可行的模式是：

gs://bucket-name/dir/*/*.csv

这些模式虽然通过 gsutil ls 有效并返回正确的文件，但在模板中不起作用：

gs://bucket-name/dir/*

gs://bucket-name/dir/*.csv

【讨论】：