Colab 告诉我创建一个存储桶，但是在哪里？答案

【问题标题】：Colab tells me to create a bucket, but where?Colab 告诉我创建一个存储桶，但是在哪里？
【发布时间】：2020-05-29 06:42:21
【问题描述】：

在 Google Colab 上使用 TPU 时（例如在 MNIST example 中），我们被告知要创建一个 GCS 存储桶。但是，它并没有告诉我们在哪里。在不知道 Colab 实例的区域/地区的情况下，我害怕创建存储桶，以免遇到计费问题。

其实有几个问题：

从 Colab 访问 GCS 存储桶是免费的，还是收取正常的网络出口费用？
我可以获取 colab 实例的区域/地区吗？ Most likely not。
如果上述两个问题的答案都是“否”：在将 TPU 与 Colab 结合使用时，是否有任何解决方案可以最大限度地降低成本？

【问题讨论】：

标签： google-colaboratory google-cloud-tpu

【解决方案1】：

我们被告知要创建一个 GCS 存储桶。但是，它并没有告诉我们在哪里。

运行（在 Colab 内）

!curl ipinfo.io

你会得到类似的东西

{
  "ip": "3X.20X.4X.1XX",
  "hostname": "13X.4X.20X.3X.bc.googleusercontent.com",
  "city": "Groningen",
  "region": "Groningen",
  "country": "NL",
  "loc": "53.21XX,6.56XX",
  "org": "AS396XXX Google LLC",
  "postal": "9711",
  "timezone": "Europe/Amsterdam",
  "readme": "https://ipinfo.io/missingauth"
}

这会告诉你 Colab 在哪里运行。

您可以只在一个区域中创建 GCS 存储桶（如果您不需要多区域）。

假设您不经常更改国家/地区，您可以检查几次（不同的日子）并了解您的 Colab 可能位于何处。

对于您的其他问题（出口，...），请参阅结论 https://ostrokach.gitlab.io/post/google-colab-storage/

[...] Google Cloud Storage 是托管我们数据的不错选择。仅有的我们应该确保检查 Colab notebook 是否在与您的 Cloud Storage 存储分区相同的大陆，否则我们将产生网络出口费用！

【讨论】：

【解决方案2】：

感谢您的提问。

否，您无法获取Colab实例的区域/区域。因此，您可以尝试创建一个用于Colab的多区域GCS存储桶。根据评论，https://github.com/googlecolab/colabtools/issues/597#issuecomment-502746530，Colab TPU实例仅在美国区域。因此，在创建GCS存储桶时，您可以选择在我们的一个多区域桶中。

checkout https://cloud.google.com/storage/pricing获取有关GCS存储桶的定价信息的更多详细信息。

您还可以注册谷歌云平台账户，使用5GB的免费存储和https://cloud.google.com/free/，以便能够为您提供足够的积分来开始。

【讨论】：

我支持你；但是，也许我遗漏了一些东西，但是如果例如，多区域存储桶似乎无法解决问题。 Colfab 实例在美国，而存储桶在欧盟。
根据评论，github.com/googlecolab/colabtools/issues/…，Colab TPU实例只在US区域。因此，在创建GCS存储桶时，您可以在美国中选择一个多区域桶。我希望应该解决这个问题。 span>
还要注意，多区域存储桶比单区域存储桶更昂贵。因此，这可能不是最便宜的选择，具体取决于数据的大小和请求的频率。如果您有小数据，您计划频繁地访问（非常），这可能是一个很好的选择，但如果您有大量的数据存储，而且您只能在额外的存储成本中不当地访问出口费用。