在 Google Colab Pro 中使用 TPU v3

Question

有没有办法在 Google Colab Pro 中使用 TPU v3 而不是 TPU v2？

很遗憾，我在 TPU v2 中收到一条错误消息 Compilation failure: Ran out of memory in memory space hbm. Used 8.29G of 7.48G hbm. Exceeded hbm capacity by 825.60M.，而在 TPU v3 中我不再收到该消息。因为 TPU v3 有更多内存。

有人知道可能性/选项吗？

这样我就启动了 TPU

try:
  tpu = tf.distribute.cluster_resolver.TPUClusterResolver()  # TPU detection
  print('Running on TPU ', tpu.cluster_spec().as_dict()['worker'])
except ValueError:
  raise BaseException('ERROR: Not connected to a TPU runtime; please see the previous cell in this notebook for instructions!')


tf.config.experimental_connect_to_cluster(tpu)
tf.tpu.experimental.initialize_tpu_system(tpu)
#tpu_strategy = tf.distribute.experimental.TPUStrategy(tpu)
strategy = tf.distribute.TPUStrategy(tpu)

Answer 1

简短的回答是否定的。无法指定您想要的特定 TPU 版本。虽然我相信 Kaggle 提供了 v3-8 TPU（由于它是免费的，因此它也可能会发生变化）。此外，正如另一个答案所指出的，您也可以自己启动付费 Cloud TPU，您可以为其指定特定的硬件。

Answer 2

据我所知，Colab 的免费版本不提供任何方式来选择 GPU 或 TPU。不过，还有专业版。

如果确实需要，您可以以 8.00 美元/小时的价格从 CloudTPU 购买特定的 TPU v3。

引用自 Colab 常见问题解答：

您无法在任何给定时间选择可以在 Colab 中连接的 GPU 类型。对更可靠地访问 Colab 最快的 GPU 感兴趣的用户可能会对 Colab Pro 感兴趣。