如何在高斯朴素贝叶斯中获得特征重要性

Question

我有一个针对数据集运行的 Gaussian naive bayes 算法。我需要的是获得目标类的特征重要性（特征的影响力）。

这是我的代码：

from sklearn.naive_bayes import GaussianNB
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(inputs, target, test_size=0.2)

gaussian_nb = GaussianNB()

gaussian_nb.fit(X_train, y_train)

gaussian_nb.score(X_test, y_test)*100

我试过了：

importance = gaussian_nb.coefs_ # and even tried coef_

它给出了一个错误：

AttributeError: 'GaussianNB' 对象没有属性 'coefs_'

有人可以帮帮我吗？

Answer 1

如果您查看documentation，朴素贝叶斯不具备这些特征重要性的属性。您可以使用get_params 方法来学习先验知识，但不是真正的个人特征。如果您需要了解特征重要性，一个好的解决方案是对决策树之类的分析进行分析，然后使用最重要的特征实现GaussianNB。

Answer 2

GaussianNB 不提供评估特征重要性的内在方法。朴素贝叶斯方法通过确定与特征相关的条件和无条件概率来工作，并预测具有最高概率的类别。因此，没有计算或与您用于训练模型的特征相关联的系数（与其documentation 相比）。

话虽如此，您可以在模型经过训练后应用事后分析模型的方法。其中一种方法是Permutation Importance，它也方便地在scikit-learn 中实现。以您提供的代码为基础，您可以通过以下方式使用permutation_importance：

from sklearn.inspection import permutation_importance
from sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import train_test_split


X_train, X_test, y_train, y_test = train_test_split(inputs, target, test_size=0.2)

gaussian_nb = GaussianNB()
gaussian_nb.fit(X_train, y_train)

imps = permutation_importance(gaussian_nb, X_test, y_test)
print(imps.importances_mean)

请注意，排列重要性取决于数据集，您必须传递数据集才能获取值。这可以是您用于训练模型的相同数据，即X_train 和y_train，也可以是您保存用于评估的保留集，例如X_test 和y_test。就泛化能力而言，后一种方法只是更好的选择。

如果您想进一步了解 Permutation Importance 作为一种方法及其工作原理，那么scikit-learn 提供的user guide 绝对是一个好的开始。