基于 LSTM 的文本生成器的理想验证准确度应该是多少？答案

【问题标题】：What should be the ideal validation accuracy of a LSTM based text generator?基于 LSTM 的文本生成器的理想验证准确度应该是多少？
【发布时间】：2020-05-27 19:51:56
【问题描述】：

我使用我拥有的数据集对基于 LSTM 的文本生成器进行了建模。该模型的目的是预测句子的结尾。我的训练显示验证准确率约为 81%。在阅读几篇文章时，我发现与分类问题不同，我应该更担心损失而不是准确性。是这样吗？如果是这样，理想的损失值是多少？现在我的损失大约是 1.5+。

【问题讨论】：

这真的取决于您的数据集和您要解决的问题。不同类型的文本可能比其他类型的文本更难建模。
在文本生成问题中我应该瞄准的准确度应该是多少？它会过拟合吗？我尝试 90+ %。您如何看待 80% 的验证准确度和 86% 的测试准确度？

标签： python tensorflow keras lstm

【解决方案1】：

任何机器学习或深度学习问题的准确性都没有最低限制。就像许多人说的那样垃圾进，垃圾出
数据质量和体面的模型将为您提供良好的准确性。

通常，这些准确度基准是为开放互联网上可用的标准数据集设置的，例如 SQUAD、RACE、SWAG、GLUE 等等。
通常，最先进的模型将检查它们在这些数据集上的性能，并为这些数据集设置一个准确度基准。

谈到您的问题，您可以根据准确性判断模型正在执行 goog，并且您使用的评估指标通常在 NLP 中计算损失有点棘手。考虑到您试图预测没有固定维度的句子结尾的情况，原因是相同的信息可以用不同数量的单词以多种方式表达。

通过查看模型的验证和测试准确度，它看起来不错，但在提高准确度之前，您还应该担心过度拟合问题，模型不应该对您的数据产生偏见。

您可以尝试使用不同的指标来评估模型，也可以自行比较结果。

我希望这能回答您的问题，祝您学习愉快！

【讨论】：