我一直在尝试评估语言模型，我需要跟踪困惑度指标。
我尝试的是：因为困惑度是 2^-J，其中 J 是交叉熵：
def perplexity(y_true, y_pred):
oneoverlog2 = 1.442695
return K.pow(2.0,K.mean(-K.log(y_pred)*oneoverlog2))
但奇怪的是，在几批训练期间，这会变成无穷大。
实现或任何其他实现困惑的方式有问题吗？
【问题讨论】：
标签： machine-learning tensorflow nlp deep-learning keras
我一直在研究这个主题，我想我可以对此有所了解。
如果您想使用 Keras 计算困惑度并根据您的定义，它会是这样的：
def ppl_2(y_true, y_pred):
return K.pow(2.0, K.mean(K.categorical_crossentropy(y_true, y_pred)))
但是基数 should be e 不是 2。那么困惑将是：
def ppl_e(y_true, y_pred):
return K.exp(K.mean(K.categorical_crossentropy(y_true, y_pred)))
【讨论】：
我提供了两个版本并附上了它们的对应来源，请随时查看链接。
def perplexity_raw(y_true, y_pred):
"""
The perplexity metric. Why isn't this part of Keras yet?!
https://stackoverflow.com/questions/41881308/how-to-calculate-perplexity-of-rnn-in-tensorflow
https://github.com/keras-team/keras/issues/8267
"""
# cross_entropy = K.sparse_categorical_crossentropy(y_true, y_pred)
cross_entropy = K.cast(K.equal(K.max(y_true, axis=-1),
K.cast(K.argmax(y_pred, axis=-1), K.floatx())),
K.floatx())
perplexity = K.exp(cross_entropy)
return perplexity
def perplexity(y_true, y_pred):
"""
The perplexity metric. Why isn't this part of Keras yet?!
https://stackoverflow.com/questions/41881308/how-to-calculate-perplexity-of-rnn-in-tensorflow
https://github.com/keras-team/keras/issues/8267
"""
cross_entropy = K.sparse_categorical_crossentropy(y_true, y_pred)
perplexity = K.exp(cross_entropy)
return perplexity
【讨论】：
您正在计算 y_pred=0 未定义的交叉熵公式，而且它的数值不稳定。
我建议您使用tf.sparse_cross_entropy_with_logits 而不是自己编写公式。该函数会为您处理数值不稳定问题以及输入为零的情况。
如果您真的想自己编写公式，请将少量添加到 t_pred 以使其不为零或将 y_pred 剪裁为非常小的和 1。
【讨论】：
K 与 tf 相同，是的，这是有道理的。请确保 y_pred 未缩放。未缩放 = 它是一组线性神经元的输出，而不是应用于这些神经元的 softmax 函数的输出