【问题标题】：Which loss function should I use in my LSTM and why?我应该在我的 LSTM 中使用哪个损失函数，为什么？
【发布时间】：2019-02-23 13:41:20
【问题描述】：

我尝试逐步了解 Keras 和 LSTM。现在我构建了一个 LSTM，输入是一个句子，输出是一个包含五个值的数组，每个值可以是 0 或 1。

示例：输入句子：“我讨厌饼干” 输出示例：[0,0,1,0,1]

为此，我正在使用 keras 库。

现在我不确定我应该使用哪个损失函数。现在我只知道两个预定义的损失函数稍微好一点，但对于我的例子来说似乎都不是很好：

二进制交叉熵：如果我的输出只有 0 或 1，那就太好了分类交叉熵：如果我有一个数组的输出，其中一个为 1，所有其他值为 0，那就太好了。

这两个函数对我的示例没有任何意义。你会使用什么？为什么？

编辑

另一个问题：你会在 Keras 中使用哪个激活函数？

【问题讨论】：

【解决方案1】：

交叉熵的入门知识是交叉熵损失或对数损失衡量分类模型的性能，其输出是介于 0 和 1 之间的概率值。

随着预测概率与实际标签的偏离，交叉熵损失会增加。因此，当实际观察标签为 1 时预测 0.012 的概率将是不好的，并导致高损失值。

完美模型的对数损失为 0。对于 LSTM 模型，您可能需要也可能不需要此损失函数。这里是link，可以更详细地回答您的问题。

【讨论】：

【解决方案2】：

This 链接应该让您了解交叉熵的作用以及何时使用它的好时机。激活函数是在实验基础上使用的。 keras 中有很多激活函数，您可以针对您的场景进行尝试。

请参考 youtube 上的 this Stanford video 和 this blog，这些都可以让您对如何选择损失函数有一个基本的了解。

祝你好运！

【讨论】：

【解决方案3】：

您需要使用logistic 激活。这会将每个 logit 推到 0 和 1 之间，这表示该类别的概率。

然后使用categorical cross entropy。这不会使您的模型成为单个类分类器，因为您使用的是逻辑激活而不是 softmax 激活。

根据经验：

【讨论】：

【解决方案4】：

我自己找到了一个非常好的链接，解释说最好的方法是使用“binary_crossentropy”。

原因是数组中的每个值都可以是0或1。所以我们有一个二进制问题。

我也试过了。使用我的数据集，我能够通过二进制交叉熵获得 92% 的准确率。使用分类交叉熵，我的准确率只有 81%。

我忘记添加链接了。对多个输入/输出模型以及使用哪种损失函数的良好解释：

【讨论】：

【解决方案5】：

对于深度学习中的回归问题，均方误差 MSE 是最优选的损失函数，但对于希望输出为 1 或 0、真或假的分类问题，交叉二元熵更可取

【讨论】：