【问题标题】:What is the maximum training dataset size in stanford nlp sentiment toolstanford nlp 情绪工具中的最大训练数据集大小是多少
【发布时间】:2014-12-31 07:37:22
【问题描述】:

在为 stanford nlp 情绪工具训练 PTB 格式数据集时,我收到如下消息:

Epoch:207 Batch:404
Training time :86400311ms
Max training time exceeded,exiting.

不是训练整个数据集,而是在训练过程中退出。

请告诉我斯坦福情绪工具的最大训练数据集大小是多少。另外,我想知道最低 RAM 要求。

【问题讨论】:

    标签: stanford-nlp


    【解决方案1】:

    您可以使用命令行选项设置模型的最大训练时间:

    -maxTrainTimeSeconds <time>
    

    时间和内存需求取决于训练数据的大小;如果您在训练中做到了,那么您使用的内存可能还可以。没有最大数据集大小。

    【讨论】:

    • 感谢您的回复。但是我怎么知道训练数据集需要多少时间。如果数据集非常大,有什么方法可以找到最大训练时间吗?是否取决于 RAM 大小?
    • 另外,训练时间是否随 RAM 大小而变化?
    • 情绪训练将运行多久,只要你愿意——你可以选择最长的训练时间。所需的训练时间取决于 CPU/RAM 规格、语料库大小、平均句子长度等。为了安全起见,您可以将最大时间设置为非常高的数字;观察发展分数,一旦它似乎已经收敛,手动切断。 (您可以让训练程序保存中间模型以实现这一点。)
    猜你喜欢
    • 2016-06-29
    • 1970-01-01
    • 1970-01-01
    • 2014-04-30
    • 1970-01-01
    • 2016-10-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多