随机森林分类器：与哪个类对应的概率

Question

我正在使用来自pyspark.ml.classification 的RandomForestClassifier

我在二进制类数据集上运行模型并显示概率。

我在 col 概率中有以下内容：

+-----+----------+---------------------------------------+
|label|prediction|probability                            |
+-----+----------+---------------------------------------+
|0.0  |0.0       |[0.9005918461098429,0.0994081538901571]|
|1.0  |1.0       |[0.6051335859900139,0.3948664140099861]|
+-----+----------+---------------------------------------+

我有一个包含 2 个元素的列表，这些元素显然对应于预测类别的概率。

我的问题：probability[0 始终对应于预测值，而在 spark 文档中不清楚！

Answer 1

我将您的问题解释为：“预测”列下的数组中的第一个元素是否始终对应于“预测类别”，您的意思是随机森林分类器预测观察结果应该具有的标签。

如果我的答案是正确的，答案是肯定的。

probability 行中的数组中的项目可以被读取为模型告诉你的：

['My confidence that the predicted label = the true label', 'My confidence that the label != the true label']

在预测多个标签的情况下，模型会告诉你：

['My confidence that the label I predict = specific label 1', 'My confidence that the label I predict = specific label 2', ...'My confidence that the label I predict = specific label N']

这是由您尝试预测的 N 个标签索引的（这意味着您必须注意标签的结构方式）。

也许看看this answer会有所帮助。你可以这样做：

model = pipeline.fit(trainig_data) predictions = model.transform(test_data) print predictions.show(10)

（使用示例中的相关管道和数据。）

这将显示每个类别的概率。

Answer 2

我在这里发布了几乎相同的问题，我认为答案可能会对您有所帮助： Scala: how to know which probability correspond to which class?

答案在模型拟合之前。

为了适应模型，我们在目标上使用 labelIndexer。此标签索引器将目标按频率降序转换为索引。

例如：如果在我的目标中，我有 20% 的“aa”和 80% 的“bb”标签索引器将创建一个列“label”，其值为 0 表示“bb”，1 表示“aa”（因为我“bb”比“aa”更频繁）

当我们拟合一个随机森林时，概率对应于频率的顺序。

在二分类中：

• first proba = 该类是训练集中出现频率最高的类的概率
• second proba = 该类是训练集中频率较低的类的概率