DistilBERT，少于 512 个代币，Colab 崩溃

【问题标题】：DistilBERT, less than 512 tokens, Colab crashDistilBERT，少于 512 个代币，Colab 崩溃
【发布时间】：2022-02-28 17:28:24
【问题描述】：

我正在关注本指南 https://jalammar.github.io/a-visual-guide-to-using-bert-for-the-first-time/，我的文本观察平均包含少于 250-300 个单词，因此我在任何文本行中都没有 512 个标记。

但类似于这个问题：Fluctuating RAM in google colab while running a BERT model 我必须将max_length 限制为小于 100，否则 Google Colab 会崩溃。

我看到了其他应用基于 BERT 的转换器和使用 Pytorch DataLoader 批量加载数据的示例，但在此示例中无法弄清楚如何实现它。

【问题讨论】：

【解决方案1】：

正如您所说的正确，您似乎在教程中显示没有使用批处理，因此整个数据被一次性交给模型，这对于 colab 允许您使用的资源来说可能太多了。

如果您只是想让它工作，您可以尝试限制数据中的行数，类似于本教程的做法（在本例中为 2000 年）： https://www.kaggle.com/rahulvks/distilbert-text-classification

或者，更好的是，使用数据加载器，然后像本教程一样迭代它们：https://seekinginference.com/applied_nlp/distilbert.html

通常，在 Colab 中使用转换器模型时，您应该确保激活 GPU 使用（编辑 -> 笔记本设置），因为这可以让您免费使用一些非常不错的 GPU，并显着提高训练速度。

【讨论】：