理解 nlp 中的最大似然答案

【问题标题】：understanding maximum likelihood in nlp理解 nlp 中的最大似然
【发布时间】：2017-03-16 05:12:36
【问题描述】：

我试图了解 NLP 中的最大可能性是什么。我在看这个演示文稿：

我在 Manning 和 Schütze 的《统计语言处理基础》中看到了相同的方程式。

现在，我对 MLE 的理解是这样的：

我知道实验的结果，我知道潜在的分布，但我不知道单个事件的概率。 MLE 通过查找在我的观察中最有可能的概率值来帮助我找到概率（或更一般的未知参数）。

所以 MLE 告诉我，当任何单个事件的概率为 x 时，观察某个事件的概率最高。

如果那是真的，为什么这张幻灯片上没有微积分？为什么在这种情况下 MLE 是用一个简单的分数计算的？我不明白这与 MLE 有什么关系？

我认为，MLE 是一个最大化问题...？

【问题讨论】：

这个问题可能应该经过交叉验证。在某些情况下，MLE 可以表示为观察的一些分数。你可以用微积分来证明它。
忘记 NLP 几个小时。试着更全面地了解 MLE 的作用，以及它与其他参数估计技术相比的位置。看到这个：engineering.purdue.edu/kak/Tutorials/Trinity.pdf

标签： nlp mle

【解决方案1】：

MLE 确实是一个最大化问题。在幻灯片中，他们跳过了计算，只是指出了 MLE 的结果。如果您想查看完整的推导，可以查看第 3 页，例如 http://statweb.stanford.edu/~susan/courses/s200/lectures/lect11.pdf

此链接解释了如何找到多项分布参数的最大似然估计，并且相同类型的计算也会导致您在幻灯片中看到的结果。

链接中的n 对应于幻灯片中的c(w1,…,wi−1)（因为这是案例总数），链接中的x_i 对应于幻灯片中的c(w1,…,wi)（因为这是总数在所有案例中，您要计算的具体案例）。

【讨论】：