使用 Google Cloud Platform TPU v3 对 BERT 进行预训练答案

【问题标题】：Pretraining for BERT using Google Cloud Platform TPU v3使用 Google Cloud Platform TPU v3 对 BERT 进行预训练
【发布时间】：2021-11-09 11:25:55
【问题描述】：

我们正在尝试使用我们准备好的语料库对 BERT 进行预训练。

我尝试借助本教程 (https://cloud.google.com/tpu/docs/tutorials/bert) 使用 Cloud Shell 使用 TPU v3 对 BERT 进行预训练，但 Cloud Shell 的使用限制为每周 60 小时，这使我们无法高效地执行BERT 预训练等耗时的计算。

如果我们想在 Google Cloud Platform 上使用 TPU v3 对 BERT 进行不间断的预训练，最好的方法是什么？

如果可能的话，如果你能提供一个具体的过程，那将是非常有帮助的。

【问题讨论】：

标签： google-cloud-platform bert-language-model tpu google-cloud-shell

【解决方案1】：

您可以使用nohup、tmux 或screen 之一运行长时间运行的程序。

您通过运行 SSH 到您的计算 VM（使用 Cloud Shell）

gcloud compute ssh my-vm-name --zone=us-central1-b

然后运行你的相关命令（比如使用 nohup）

nohup training_command.py > mytraining.out 2> mytraining.err

即使 Cloud Shell 过期或您关闭窗口，您的训练仍将继续运行。您可以重新连接回 VM，并在这些文件中查看训练的输出。

【讨论】：