当自变量是分类且目标变量也是分类时的特征选择

Question

我已经展示了我正在处理的数据集的一个小样本。我的原始数据集大约有 400 列用于“症状”，1 列用于“疾病”。从这里the output expected is to find out the top 'N' maybe 10 or some number of 'Symptoms' which are most significant for a particular disease. 我的示例数据集如下：

fever    headche     sore throat          drowsiness               Disease
    0        0         1                   0                      Fungal infection
    0        0         0                   1                      Fungal infection
    0        1         0                   0                      liver infection
    1        0         0                   1                      diarrhoea
    0        0         1                   1                      common cold
    0        1         1                   0                      diarrhoea
    1        0         0                   0                      flu
    

我曾尝试使用 sklearn 的 SelectKBest，但无法理解结果。也想知道panda的dataframe.corr函数在这种情况下能不能工作

Answer 1

解决此问题的一种方法是使用朴素贝叶斯分类器，其特征概率建模为Bernoulli distributions。这假设目标变量不是您在问题中提到的分类变量，而只是二进制变量。我认为这是一个更合理的假设，在我看来，它来自于输入数据的构造，其中输入变量似乎是二进制的。

第一个模型传递可以是以下（从 answer 改编 important_features 函数：

import numpy as np
import pandas as pd
from sklearn.naive_bayes import BernoulliNB

def important_features(classifier,feature_names, n=20):
    class_labels = classifier.classes_

    for i,feature in enumerate(feature_names): 
        print("Important features in ", class_labels[i])
        topn_class = sorted(zip(classifier.feature_log_prob_[i], feature_names),
                            reverse=True)[:n]
        
        for coef, feat in topn_class:
            print(coef, feat)
        print('-----------------------')

d = {}
d['fever'] = np.array([0,0,0,1,0,0,1])
d['headache'] = np.array([0,0,1,0,0,1,0])
d['sorethroat'] = np.array([1,0,0,0,1,1,0])
d['drowsiness'] = np.array([0,1,0,1,1,0,0])
d['disease'] = ['Fungal infection','Fungal infection','liver infection',
           'diarrhoea','common cold','diarrhoea','flu']

df = pd.DataFrame(d)

X = df[df.columns[:-1]]
y = df['disease']

clf = BernoulliNB()
clf.fit(X, y)
BernoulliNB()

important_features(clf,df.columns[:-1])

这应该会给你以下输出，这当然只是为了演示目的，因为我只使用了你上面提供的数据：

Important features in  Fungal infection
-0.6931471805599453 sorethroat
-0.6931471805599453 drowsiness
-1.3862943611198906 headache
-1.3862943611198906 fever
-----------------------
Important features in  common cold
-0.4054651081081645 sorethroat
-0.4054651081081645 drowsiness
-1.0986122886681098 headache
-1.0986122886681098 fever
-----------------------
Important features in  diarrhoea
-0.6931471805599453 sorethroat
-0.6931471805599453 headache
-0.6931471805599453 fever
-0.6931471805599453 drowsiness
-----------------------
Important features in  flu
-0.4054651081081645 fever
-1.0986122886681098 sorethroat
-1.0986122886681098 headache
-1.0986122886681098 drowsiness
-----------------------

朴素贝叶斯当然不考虑自变量之间的相关性，例如如果他们无论如何都发烧并且独立于潜在的疾病，那么他们可能更容易出现头痛。如果此限制对您来说不是问题，那么您可以继续为所有数据运行模型。请注意，训练一个更通用的模型来估计数据中所有可能的相关性可能真的很困难。

最后请注意，pandas corr 方法将为您提供自变量的相关性，但它与根据输入预测疾病的模型没有任何关系。