我是机器学习的新手，我刚刚完成了我的第一个方法 (Random Forests)。现在我想分析一下这种方法实际上有多准确。我使用的第一个性能指标是使用以下公式计算做出了多少正确预测：
accuracy = correct predictions / total predictions * 100
现在，我想预测一个值为1 或0 的变量。我的大部分预测都在1 和0(0.85, 0.45, 0.95 etc..) 之间的范围内，因此这些不被认为是正确的预测 - 使用上述公式导致0.42% 的准确性。我知道我在做一些非常愚蠢和错误的事情。是否应该将预测值四舍五入到最接近的整数，然后计算指标？
另外，我进行了AUC 测试，结果准确度为81%。
【问题讨论】：
标签： python performance machine-learning random-forest
验证模型准确性的一种好方法是运行验证集方法（正如您似乎正在做的那样）或交叉验证（K-Folds），更多信息请点击此处：
https://en.wikipedia.org/wiki/Cross-validation_(statistics) https://en.wikipedia.org/wiki/Training,_test,_and_validation_sets
至于变量，这似乎是一个分类问题（您的输出变量可以是 0 或 1）。
因此，一个好的方法是使用返回 0 或 1（而不是中间值）的分类器。如果您确实为分类设置了随机森林，那么它不应该给您这样的结果。
但是，您也可以根据需要使用不同的值（0.5 ? 0.8 ?）设置阈值（您可以使用 ROC 曲线来帮助您确定最佳分类器）。
【讨论】：
是的，为了准确起见，您应该将阈值设为 0.5。 IE。任何 >= 0.5 的预测变为 1，任何
class_predictions = np.where(prob_predictions >= 0.5, 1, 0)
这将返回一个整数数组 1 或 0。
【讨论】：