为什么我们选择 Beta 分布作为假设的先验？

Question

我看过 CMU 的 Tom Mitchell 2011 年 10-701 年课程的机器学习课程视频。当他在 theta 上使用 Beta 分布作为先验时，他正在教授最大似然估计主题，我不知道他只选择了那个？

Answer 1

在this lecture 中，Mitchell 教授给出了一个抛硬币的例子并估计了它的公平性，即正面的概率 - theta。他合理地为这个实验选择了binomial distribution。

选择beta distribution 作为先验的原因是在计算后验时简化数学。这很好用，因为 beta 是 conjugate prior for binomial - 在同一讲座的最后，教授提到了它。这并不意味着一个人不可能使用任何其他先验，例如正态、泊松等。但其他先验导致复杂的后验分布，难以优化、计算积分等。

这是一个一般原则：在更复杂的分布之前更喜欢共轭，即使它不能完全拟合数据，因为数学更简单。