【发布时间】：2020-04-07 04:55:57
【问题描述】：
我想从头开始训练 gpt 2，但我发现的文章中只有基于预训练模型的微调方法。 我用这个https://github.com/nshepperd/gpt-2 训练现有模型。我应该编辑这些 Python 脚本以从头开始训练吗？
【问题讨论】：
-
使用标签告诉更多信息
标签： python machine-learning nlp nlg
【发布时间】：2020-04-07 04:55:57
【问题描述】：
我在这个 repo https://github.com/nshepperd/gpt-2的“问题”中找到了答案
如果您根本不想使用已发布的模型，例如因为 你想训练一个超参数不兼容的模型，它应该 只需跳过已发布模型的恢复即可 第一次运行时的检查点（在 train.py:164-177 附近），因此 参数都会随机初始化。
【讨论】：