使用 PyMC3 进行 Softmax 回归（多项 Logistic）答案

【问题标题】：Softmax Regression (Multinomial Logistic) with PyMC3使用 PyMC3 进行 Softmax 回归（多项 Logistic）
【发布时间】：2016-02-12 17:38:07
【问题描述】：

我正在尝试实现逻辑多项式回归（AKA softmax 回归）。在这个例子中，我试图对 iris 数据集进行分类

我在指定模型时遇到问题，我收到find_MAP() 的优化错误。如果我避免使用find_MAP()，如果我使用Categorical 作为可能性，我会得到一个所有零向量的“样本”，或者如果我使用Mutinomial(n=1, p=p)，我会得到与先验完全相同的后验。

import pymc3 as pm
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd

iris = sns.load_dataset("iris")
y_2 = pd.Categorical(iris['species']).labels
x_n = iris.columns[:-1]
x_2 = iris[x_n].values
x_2 = (x_2 - x_2.mean(axis=0))/x_2.std(axis=0)
indice = list(set(y_2))

with pm.Model() as modelo_s:

    alfa = pm.Normal('alfa', mu=0, sd=100, shape=3)
    beta = pm.Normal('beta', mu=0, sd=100, shape=(4,3))

    mu = (alfa[indice] + pm.dot(x_2, beta[:,indice])).T
    p = pm.exp(mu)/pm.sum(pm.exp(mu), axis=0)

    yl = pm.Categorical('yl', p=p, observed=y_2)
    #yl = pm.Multinomial('yl', n=1, p=p, observed=y_2)

    start = pm.find_MAP()
    step = pm.Metropolis()
    trace_s = pm.sample(1000, step, start)

【问题讨论】：

标签： python bayesian pymc3 softmax

【解决方案1】：

问题可能是缺少向量值变量的 gibbs 更新。因此，仅当所有二进制值都产生良好的 logp 时才接受跳转。此 PR 可能会有所帮助：#799

所以你可以试试：pip install git+https://github.com/pymc-devs/pymc3@gibbs 然后做 Metropolis(gibbs='random')。

【讨论】：