我问了一个类似的问题，但没有回应。所以我再试一次，
我正在阅读一篇论文，该论文建议将一些在 Tensorflow 之外计算的值添加到 Tensorflow 中神经网络模型的损失函数中。我给你看这里的报价（我已经模糊了不重要的部分）：
在 Tensorflow 中拟合序列模型时，如何向损失函数添加预先计算的值？ 使用的损失函数是 BinaryCrossentropy，你可以在论文引用的公式 (4) 中看到它。附加值显示在报价中，但对于我认为的问题并不重要。
我的模型看起来如何并不重要，我只是想在拟合我的模型时在 tensorflow 中为我的损失函数添加一个常数值。
非常感谢！！
【问题讨论】：
标签： python tensorflow neural-network loss-function
您似乎希望能够定义自己的损失。另外，我不确定您使用的是实际的 Tensorflow 还是 Keras。这是 Keras 的解决方案：
import tensorflow.keras.backend as K
def my_custom_loss(precomputed_value):
def loss(y_true, y_pred):
return K.binary_crossentropy(y_true, y_pred) + precomputed_value
return loss
my_model = Sequential()
my_model.add(...)
# Add any layer there
my_model.compile(loss=my_custom_loss(42))
编辑：答案只是添加一个常数项，但我意识到论文中建议的术语不是常数。
我没有读过论文，但我认为从交叉熵定义来看，sigma 是基本事实，p 是预测值。如果没有其他依赖，解决方案甚至可以更简单：
def my_custom_loss(y_pred, y_true):
norm_term = K.square( K.mean(y_true) - K.mean(y_pred) )
return K.binary_crossentropy(y_true, y_pred) + norm_term
# ...
my_model.compile(loss=my_custom_loss)
在这里，我假设仅对每批计算期望值。告诉我这是否是你想要的。否则，如果您想以不同的规模计算统计数据，例如在每个 epoch 之后的整个数据集上，您可能需要使用回调。
在这种情况下，请更准确地说明您的问题，例如为y_pred 和y_true 添加一个小示例，以及预期的损失。
【讨论】：
如您所见，在上面的等式中，结果可能非常低，即可能会出现梯度消失的问题。
为了缓解这种情况，他们要求为损失添加一个常数值。
现在，您可以使用简单的常数，例如 1、10 或其他任何值，或者与他们所说的成正比。
您可以很容易地根据基本事实计算出某一部分的期望值。另一部分是棘手的，因为在你训练之前你不会有值，并且动态计算它们是不明智的。
该术语表示基本事实和预测之间会有多大差异。
所以，如果你要实现这篇论文，那么，给你的损失添加一个常数值 1，这样它就不会消失。
【讨论】：