sklearn DecisionTreeClassifier 真的可以处理分类数据吗？

Question

在使用 DecisionTreeClassifier I visualized it using graphviz 时，我不得不说，令我惊讶的是，它似乎需要分类数据并将其用作连续数据。

我的所有特征都是分类的，例如，您可以看到以下树（请注意，第一个特征 X[0] 有 6 个可能的值 0、1、2、3、4、5： 从我发现here 来看，该类使用一个二叉树的树类，因此它是 sklearn 的一个限制。

任何人都知道我缺少一种明确使用树的方法吗？ （我知道这不是更好的任务，但由于我需要类别，目前我在数据上使用一个热向量）。

原始数据的样本如下所示：

f1 f2 f3  f4  f5  f6  f7  f8  f9  f10  c1  c2  c3
0  C  S  O   1   2   1   1   2   1    2   0   0   0
1  D  S  O   1   3   1   1   2   1    2   0   0   0
2  C  S  O   1   3   1   1   2   1    1   0   0   0
3  D  S  O   1   3   1   1   2   1    2   0   0   0
4  D  A  O   1   3   1   1   2   1    2   0   0   0
5  D  A  O   1   2   1   1   2   1    2   0   0   0
6  D  A  O   1   2   1   1   2   1    1   0   0   0
7  D  A  O   1   2   1   1   2   1    2   0   0   0
8  D  K  O   1   3   1   1   2   1    2   0   0   0
9  C  R  O   1   3   1   1   2   1    1   0   0   0

其中 X[0] = f1 和我将字符串编码为整数，因为 sklearn 不接受字符串。

Answer 1

好吧，我很惊讶，但事实证明 sklearn 的决策树确实无法处理分类数据。自 2015 年 6 月以来，此问题 (#4899) 存在一个 Github 问题，但它仍然处于打开状态（更新：它现已关闭，但在 #12866 中继续存在，因此问题仍未解决）。

正如您在此处所做的那样，将分类变量编码为整数的问题在于，它对它们施加了一个顺序，这可能有意义，也可能没有意义，具体取决于具体情况；例如，您可以将['low', 'medium', 'high'] 编码为[0, 1, 2]，因为'low' < 'medium' < 'high'（我们将这些分类变量称为序数），尽管您仍然隐含地做出附加（并且可能是不希望的）假设'low' 和'medium' 之间的距离与'medium' 和'high' 之间的距离相同（对决策树没有影响，但在k-nn 和聚类中很重要）。但这种方法在['red','green','blue'] 或['male','female'] 等情况下完全失败，因为我们无法声明它们之间的任何有意义的相对顺序。

因此，对于非序数分类变量，正确编码它们以用于 sklearn 的决策树的方法是使用 OneHotEncoder 模块。用户指南的Encoding categorical features 部分也可能会有所帮助。