为什么我们在深度学习中使用对数概率？

Question

我在阅读论文“Sequence to Sequence Learning with Neural Networks”时产生了好奇。 事实上，不仅这篇论文，还有很多其他论文都使用对数概率，这是有原因的吗？ 请检查所附照片。

Answer 1

两个原因 -

1. 理论 - 两个独立事件 A 和 B 同时发生的概率由 P(A).P(B) 给出。如果我们使用 log，这很容易映射到总和，即 log(P(A)) + log(P(B))。因此更容易将神经元放电“事件”作为线性函数来处理。

2. 实用 - 概率值在 [0, 1] 中。因此，将两个或更多这样的小数相乘很容易导致浮点精度算术中的下溢（例如，考虑乘以 0.0001*0.00001）。一个实用的解决方案是使用日志来消除下溢。

Answer 2

对于任何给定的问题，我们都需要优化参数的可能性。但是优化产品需要一次性获取所有数据，并且需要大量计算。

我们知道求和更容易优化，因为求和的导数是导数的和。因此，将 log 转换为 sum 并加快计算速度。

参考this