【问题标题】：iterated conditional mode E step EM迭代条件模式 E step EM
【发布时间】：2013-05-03 06:47:41
【问题描述】：
我想知道使用 ICM 作为 EM 算法中 E 步的近似值的数学依据是什么。
正如我在 E 步骤中所理解的，这个想法是找到一个等于潜在变量的后验分布的分布，这保证了可能性增加或从一些更简单的分布族中找到最佳可能分布，这保证了似然函数的下界增加。
如何在数学上证明在这样的 E-step 中使用 ICM 是合理的？任何参考/推导/注释都会非常有帮助。
【问题讨论】：
标签：
machine-learning
statistics
data-mining
inference
expectation-maximization
【解决方案1】：
让我们考虑一个简单的 CRF，它表示给定观察值 (x) 标记 (y) 的可能性。还假设可能性取决于参数 \theta。在推理中，您只知道 x 并试图推断 y。你要做的就是以 E 步找到标记 y (argmax P(y|x,\theta)) 和 M 步找到参数 \theta (argmax P(\theta|x,y)) 的方式应用 EM 算法. M step 可以通过使用任何优化算法来完成，因为 \theta 通常不是高维的（至少没有 y 的维数那么高）。 E step 只是对没有隐藏变量的 MRF/CRF 进行推断，因为 \theta 在 M step 中独立优化。 ICM 是一种用于执行推理的算法。想要参考的话可以直接看墨菲的书http://www.cs.ubc.ca/~murphyk/MLbook/，我觉得第26章比较有关系。