每个类的 k 最近邻分类器训练样本大小答案

【问题标题】：k nearest neighbor classifier training sample size for each class每个类的 k 最近邻分类器训练样本大小
【发布时间】：2012-04-18 00:48:54
【问题描述】：

谁能告诉我每个班级的训练样本大小是否需要相等？

我可以接受这种情况吗？

          class1   class2  class3
samples    400      500     300

或者所有类都应该有相同的样本量？

【问题讨论】：

【解决方案1】：

KNN结果基本上取决于3件事（N的值除外）：

考虑以下示例，您尝试在 2D 空间中学习类似甜甜圈的形状。

通过在您的训练数据中使用不同的密度（假设您在甜甜圈内部的训练样本比在外部的多），您的决策边界将出现如下偏差：

另一方面，如果你的类是相对平衡的，你会得到一个更精细的决策边界，将接近甜甜圈的实际形状：

所以基本上，我建议尝试平衡您的数据集（只是以某种方式对其进行标准化），并考虑我上面提到的其他 2 个项目，您应该没问题。

如果您必须处理不平衡的训练数据，您还可以考虑使用 WKNN 算法（只是 KNN 的优化）为元素较少的类分配更强的权重。

【讨论】：

【解决方案2】：

k 最近邻方法不依赖于样本大小。您可以使用示例样本大小。例如，在具有 k-最近邻的 KDD99 数据集上查看 following paper。 KDD99 是比您的示例数据集更严重不平衡的数据集。

【讨论】：