在weka中使用加权平均F度量有什么好处答案

【问题标题】：What is the advantage of using weighted average F measure in weka在weka中使用加权平均F度量有什么好处
【发布时间】：2015-12-04 23:31:10
【问题描述】：

在 weka 中，我分别看到了“是”类和“否”类的 F 度量。但是使用加权平均 F-measure 来比较模型的性能有什么好处。请帮我找到答案:)

【问题讨论】：

标签： weka confusion-matrix

【解决方案1】：

让我们从一个聪明的例子开始，使用机器学习对文本中的蛋白质相互作用进行分类，我们的分类器试图将句子分为两类：(1) 正类 (2) 负类。正类包含描述蛋白质相互作用的句子，负类包含不描述蛋白质相互作用的句子。作为一名研究人员，我的重点将是我的正类分类器的 F 分数。为什么？因为我有兴趣看到我的分类器在对包含蛋白质相互作用的句子进行分类时的表现，我并不关心它对否定句进行分类的能力。因此，我将只考虑正类的 F 分数。

但是，对于像垃圾邮件分类这样的另一个经典问题，我们的分类器将电子邮件分为两类：(1) 火腿和 (2) 垃圾邮件，情况有点不同。作为一名研究人员，我想知道我的分类器对火腿和垃圾邮件进行分类的能力。那时，我可以单独或以汇总方式检查每个班级的 F 分数。 ham 和 spam 类的 F-scores 的加权平均值是检查我们的分类器对这两个类（在这种情况下是两个，对于多类问题阅读所有）类的性能的一种方法。因为加权 F-measure 只是所有 F-measures 的总和，每个 F-measures 根据具有特定类标签的实例数和两个类加权，计算如下：

Weighted F-Measure=((F-Measure for n class X number of instances from n class)+(F-Measure for y class X number of instances from y class))/total instances in dataset.

因此，底线是 - 如果分类对所有类别都敏感，则使用所有类别的 F 分数的加权平均值。

【讨论】：

【解决方案2】：

据我所知，当一个或两个都接近 0 或 1 时，它可以更好地处理“极端”精度或召回 (P, R) 数字。（它们通常是负相关的）。

当您想在数据集上应用不同的算法并最终得到一些需要比较的精度/召回率数字时，可能会发生这种情况。

原来简单平均 (P+R)/2 太简单了。

如果您有一个数据集，其中精度或召回率接近 1 或零，F-measure 仍会考虑另一个，有点武断。

（名字本身没有任何意义）。

Andrew Ng 在他的机器学习课程第 6 周“处理倾斜数据”中很好地解释了这一点

【讨论】：