决策树与逻辑回归相结合

Question

基本上我的问题与以下论文有关（仅阅读1.Introduction 部分、3.Prediction model structure 部分的开头和3.1 Decision tree feature transforms 部分就足够了，其他所有内容都可以跳过）

https://pdfs.semanticscholar.org/daf9/ed5dc6c6bad5367d7fd8561527da30e9b8dd.pdf

本文表明，与仅使用决策树或线性分类（不能同时使用两者）相比，二元分类在组合决策树 + 线性分类（例如逻辑回归）的情况下表现出更好的性能

简单来说，诀窍在于我们有几棵决策树（为简单起见，假设 2 棵树，第 1 棵树有 3 个叶节点，第 2 棵树有 2 个叶节点）和一些实值特征向量 x 作为所有决策树的输入

所以，
- 如果第一棵树的决策是leaf node 1，第二棵树的决策是leaf node 2，那么线性分类器将接收二进制字符串[ 1 0 0 0 1 ]
- 如果第一棵树的决策是leaf node 2，第二棵树的决策是leaf node 1，那么线性分类器将接收二进制字符串[ 0 1 0 1 0 ]

等等

如果我们只使用决策树（没有线性分类），显然我们将有class 100/class 010/class 001 用于第一棵树，class 10/class 01 用于第二棵树，但在此该方案将树的输出组合成二进制字符串，然后馈送到线性分类器。所以不清楚如何训练这些决策树？我们有的是前面提到的向量 x 和 click/no-click，这是线性分类的输出，而不是树

有什么想法吗？

Answer 1

对我来说，您需要通过最小化 log-loss 标准（二元分类）来执行提升决策树。一旦你训练了你的树（假设你有 2 棵树，3 片叶子和 2 片叶子）。然后为每个实例预测每棵树的叶子索引。

示例 例如，如果您获得树 1 的叶子 1 和第二棵树的叶​​子 2。 IE 你得到一个 (1, 0, 0, 0, 1) 的向量，它是一个 二进制向量 而不是字符串。那么你有两个策略：

1. 您根据树木预测的结果训练一个线性分类器（例如：逻辑回归），您的数据集具有维度 (N*5)，其中 N 是您的实例数。您将训练二进制数据的逻辑回归。

2. 您将维度 5 的向量与初始特征向量连接起来，然后执行线性分类器。您将在真实数据和二进制数据上训练逻辑回归。