我怎样才能转移到单词级别的困惑？

Question

我在 TensorFlow 中基于 char-rnn-tensorflow 松散地构建了一个下一个字符预测器神经网络。结果，我成功地计算了给定测试序列的下一个字符的概率分布。

取所有log 概率的平均值，我可以成功获得“字符级别的困惑”。我几乎使用了pull request 中的代码来实现这一点。

但是，我需要转到“单词级别的困惑”，因为我需要将我的模型与标准结果进行比较，其中大多数报告基于“单词级别的困惑”的语言模型的有效性。 （维基百科描述了单词级别的困惑here）

这样做的正确方法是什么？有没有可能？

Answer 1

字符级语言模型 (LM) 不同于单词级 LM。您训练的是字符级LM，就我而言，您不应该直接使用perplexity来比较字符级LM和单词级LM。

但是，如果您有用于语言建模的神经网络架构，则可以使用它来训练字符级 LM 和单词级 LM，并将您的模型与现有的字符级 LM 和单词级 LM 进行比较分别使用困惑度（竞争模型应在同一数据集上训练/测试）。

此代码与您使用的代码相似，但用于词级建模：https://github.com/hunkim/word-rnn-tensorflow