【问题标题】:Import GAE data through Storage into BigQuery fails通过存储将 GAE 数据导入 BigQuery 失败
【发布时间】:2012-11-09 13:06:52
【问题描述】:

在 Google App Engine 中,我使用 Datastore Admin 创建了备份。我选择了 Google Cloud Storage 作为目标,现在我有了一个带有备份的存储桶。

现在我正在尝试将该数据导入 BigQuery。

在网站上,我创建了一个新数据集并单击“创建新表”。在“选择数据”步骤中,我选择了 AppEngine Datastore Backup 和“从 Google Cloud Storage gs://mybucket 加载数据”。

那时我总是得到这个错误:

“源 URI 必须是 Google 存储位置:gs://mybucket”

在网站上,存储桶似乎很好: https://storage.cloud.google.com/

而且gsutil ls gs://mybucket 也可以,所以我不确定是什么问题。

还有其他的 ACL 或者我需要设置的东西吗?

【问题讨论】:

  • 您是否尝试使用尾随 / ?
  • 是的。收到相同的错误消息。
  • 你的bucket名有什么奇怪的字符吗?
  • 不,只有小写字母数字。没有下划线或任何东西。

标签: google-app-engine google-bigquery google-cloud-storage


【解决方案1】:

您需要指定 backup_info 文件的完整路径。

例如,位置可能是这样的:

gs://my_bucket/RhdGFzd9yS1hZ1pbi1vem.ReservationData.backup_info

当您执行gsutil ls gs://mybucket 命令时,您应该能够看到此文件名。

【讨论】:

  • 还有没有办法一次性导入所有表?现在我必须导入 ...AQw.Table1.backup_info 然后 ...AQw.Table2.backup_info。我注意到还有一个 ...AQw.backup_info 文件,但我无法导入该文件。
  • 不,不幸的是,导入是基于每个表的 - 因为 BigQuery 作业目前仅在单个表上运行。因此,您不能一次将多个表导入到不同的 BQ 表中。
  • 如何从完整备份中选择单个表?还是应该一个一个备份
  • 我在数据存储区管理中点击了备份信息,使用的 /gs/bucket/xxxxBDA.backup_info 不包含有效的备份元数据。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2014-06-16
  • 2015-02-03
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-03-31
相关资源
最近更新 更多