谁能推荐一个可以增量使用的决策树分类器实现（无论是 Python 还是 Java）？
我发现的所有实现都要求您一次向分类器提供所有功能才能获得分类。但是，在我的应用程序中，我有数百个功能，其中一些功能是需要很长时间才能评估的功能。由于并非树的所有分支都可能使用所有特征，因此一次为分类器提供所有特征是没有意义的。我希望分类器询问特征，一次一个，按照需要它们的顺序来最大限度地减少熵并提供最终分类。
【问题讨论】：
标签： machine-learning data-mining decision-tree
我相信没有这样的实现，但是决策树的实现非常简单，你自己编写这样的程序应该没有任何问题。
另一方面，我不认为动态计算特征的想法可以提高速度，因为即使某些特征被用来进行先前的分割，仍然必须考虑其余部分，所以对于许多记录来说将被重新计算多次（虽然它可能会节省内存）。
这在随机森林的情况下是有意义的，在每个拆分中只考虑随机的、有限的特征子集——仍然 RF 只能用作分类器，它不会为你构建好的、人类可解释的决策树。
【讨论】：
通常这样的包（尤其是 Weka 中的 J48 树）允许您指定缺失值来代替特征值，这将与 C4.5 算法的处理方式相同：
当我们到达节点分裂时 具有缺失值的属性，我们 尽可能发送实例 分支加权成正比 训练实例的数量 沿着那些树枝，最终 在叶子上累积结果 节点。
当然，您可以采用更激进的方法，并在训练阶段更改树选择要拆分的属性的方式。一种简单的方法是为属性分配权重，并将分割标准（熵、信息增益等）乘以该权重作为惩罚系数，这样“昂贵的属性”就不太可能被选为分割节点。
【讨论】：
您是在训练期间还是在分类期间对此感到担忧？由于这些时期是分开的，你可以玩一些技巧来避免评估它，直到它很晚，如果它是后者。在训练期间没有什么技巧可以玩。您必须在培训时提供所有功能。但是，由于这可能发生在您的程序之外，您不必担心计算时间。训练树是最密集的部分。
所以我建议将所有数据放在一起，对其进行训练，从训练中获取产品，然后在将对象发送到树下时在对象中使用惰性评估。让您的对象实现一些接口来获取值，您可以使用代码来懒惰地评估事物。如果一个对象从不碰到需要昂贵值的节点，那么您不必评估它。
您的昂贵计算可能不会被选为要拆分的选择，因此您无需在分类时评估它们。一旦你训练和修剪你的树，你可能只有 3-5 个在统计上相关的特征。然后你可以只优化那些带有缓存的特性，这样分类很快。
如果您想要增量训练，那完全是另一个蜡球，并且有相应的算法。但是，它们没有得到很好的解释，您必须深入研究论文才能获得它们。
【讨论】：
所以这就是我要做的。鉴于我之前的问题的答案，我认为您有以下内容。听起来您想实现某种 20 个问题，例如方法。
有二十个问题，你有是/否的答案，所以二叉树效果最好。但是，您可以在多个选项中分层，但用户选择一个选项。所以这个算法假设你已经提前训练了你的树，并且它是根据你希望使用的数据集构建的。
假设我们正在尝试进行医学诊断，因此我们的数据可能如下所示：
Disease Name Head Ache Fever Back Pain Leg Pain Blurry Vision Hearing Loss
Common Cold Yes Yes No No No No
Migraine Yes No No No Yes No
Herpes No Yes No No No No
在这个例子中，头痛、发烧、背痛、腿痛等是影响因素，疾病名称是目标。每行都是对单个患者的实际诊断，因此可以在数据中多次重复一种疾病。
在叶节点中，您必须显示到达该位置的实际行，以便您可以将其显示给用户，说您可能拥有以下之一：
头痛 偏头痛 断头
处方是：等等等等。
拥有 100 万影响者，构建树需要一段时间。如果您想降低它，可以使用多值影响者而不是是/否。尽管即使对于每种医疗状况，也很难想到 100 万个是/否独特的问题。构建树后，它可以提供尽可能多的诊断。
【讨论】：
Python 决策树包位于 https://pypi.python.org/pypi/DecisionTree 具有使用决策树的交互模式。在您需要的意义上，它不是增量的。但是，可以轻松更改函数中的代码以进行交互操作，以让您逐步查看结果。
【讨论】：