GPT NEO 纪元大小增量 [关闭]

Question

我正在使用 GPT neo 为 QA 系统训练我的 NLP 模型。第一次训练后，epoch 默认为 3。我的导师建议我将它增加到 100 个纪元。如何设置批量大小和纪元？

这是我的初步结果。现在我想把我的纪元增加到 100。

Answer 1

您需要分享更多关于您正在使用的框架（Tensorflow/Pytorch）的信息。我可以看到您正在使用 Huggingface，我假设它与 Pytorch 一起使用。

我想你可能会看看如何在 Pytorch 中设置超参数。

从广义上讲，在 Pytorch 中建立超参数通常是在训练期间设置的：

learning_rate = 1e-1
n_epochs = 1000

loss_fn = # <some loss function>

optimizer = # <some optimization algorithm>

for epoch in range(n_epochs):
    # do training with <learning_rate>
    # calculate loss <loss_fn>
    # Backpropagation with <optimizer>
    # Next Step ...
    

在这里你可以找到guide on how to set it up. 在这里你可以找到Fine tune a pre-trained hugging-face with Pytorch的指南