boosted树的值是什么意思？

Question

我画了一棵树，在树的末端（在树叶中）显示了一些值。它们是什么意思？

# model parameters
colsample_bytree = 0.4
objective = 'binary:logistic'
learning_rate = 0.05
eval_metric = 'auc'
max_depth = 8
min_child_weight = 4
n_estimators = 5000
seed = 7

# create and train model
bst = xgb.train(param, 
                dtrain, 
                num_boost_round = best_iteration)

dot = xgb.to_graphviz(bst, rankdir='LR')
dot.render("trees1")

我想，这是一个预测的概率分数，但叶子的值的范围高达 0.01。而预测概率分数的范围最大为 1。可能是，这意味着预测概率分数除以 10（例如叶值 = 0.01 表示预测概率 = 0.1）？

为什么有些叶子有负值（例如-0.01）？ 谢谢。

Answer 1

叶子的值是您的“eval_metric”，是您拆分的本地 :)。对你来说，它是 AUC。

这里是一棵树的所有属性：

n_nodes = estimator.tree_.node_count
children_left = estimator.tree_.children_left
children_right = estimator.tree_.children_right
feature = estimator.tree_.feature
threshold = estimator.tree_.threshold

来自文档：https://scikit-learn.org/stable/auto_examples/tree/plot_unveil_tree_structure.html#sphx-glr-auto-examples-tree-plot-unveil-tree-structure-py

在文档中找不到它，但“tree_.impurity”确实存在。