马尔可夫链蒙特卡罗，多元伯努利分布的提议分布？答案

【问题标题】：Markov Chain Monte Carlo, proposal distribution for multivariate Bernoulli distribution?马尔可夫链蒙特卡罗，多元伯努利分布的提议分布？
【发布时间】：2014-05-05 11:02:30
【问题描述】：

是否有适合多元伯努利模型的提案分布？

例如我想从概率分布中采样

    p(x) = p*(x) / Z;

其中x = {0,1}^M，Z为归一化常数，很难直接抽取独立样本，所以我求助于MCMC。

对于多元连续数据，使用高斯分布作为提议分布是微不足道的。这种二进制类型的数据是否有合适的提案分布？

附言我不想使用 Gibbs 采样，因为它对我来说太慢了。

谢谢

【问题讨论】：

标签： machine-learning statistics probability montecarlo markov-chains

【解决方案1】：

您将不得不更好地解释您的模型。对于多元伯努利模型的标准变体，Z 是 x 的维数，因为每个边际的可能结果的概率之和为 1，并且 x_is 之间没有依赖关系。

【讨论】：

【解决方案2】：

我想我找到了我想要的，它出现在去年的 NIPS 会议上：

“用于二进制分布的辅助变量精确哈密顿蒙特卡罗采样器”

阿里·帕克曼等人。

http://www.stat.columbia.edu/~liam/research/pubs/pakman-exact-binary-hmc.pdf

【讨论】：

你真的需要解释你的模型，否则这对任何人作为问答对都没有用。为什么不可能从每个边际中独立采样以从 p(x) 中抽签？在 MVB 模型中，边际是独立的