libsvm 中 grid.py 输出的含义答案

【问题标题】：The meaning of the output from grid.py in libsvmlibsvm 中 grid.py 输出的含义
【发布时间】：2015-03-09 02:56:54
【问题描述】：

我是 SVM 的新手，有几个关于 libsvm 中的工具的问题。

有 tools/grid.py，tools/README 将其解释为“使用 47 RBF（径向基函数）内核进行 C-SVM 分类的参数选择工具”。

我有 2 个关于此工具的问题。

例如给定如下数据集，其标签仅依赖于 param1，

label, param1, param2, param3
0    , 0     , 61    , 2     
0    , 0     , 92    , 6
1    , 1     , 10    , 32
1    , 1     , 83    , 10

如果我们将 grid.py 应用到这个数据集，它是否告诉我最“高效”（以它精确识别测试数据的类别的方式）和“最小”（以仅不是微不足道的方式）包括参数）参数是param1。

【问题讨论】：

【解决方案1】：

[...] 给定标签/特征参数集，选择最“有效”和“最小”的特征参数 [...]

否。 Grid.py 是一个在给定特征向量集上进行网格搜索以寻找最佳训练参数的工具。这些参数 c, g 随后用于训练。不要混淆训练工具的数据（称为特征向量）和参数。您实际上将表中的功能命名为“params”，这具有误导性。

[...] 如下数据集，其标签仅依赖于 param1 [...].

否。当然，与第一个特征（错误地命名为 param1）有完美的相关性。但是与第三个特征（名为 param3）也有很好的相关性。 SVM 将利用所有输入特征。只有不变的特征才能保证是无用的。它们在缩放/训练中被省略。

如果我们将 grid.py 应用于这个数据集，它是否告诉我最“有效”（以它精确识别测试数据类别的方式）和“最小”（以仅不包含琐碎的参数）参数是param1。

【讨论】：

【解决方案2】：

大概找到了答案。

答案是否定的。 grid.py 执行grid search 并估计最佳cost 和gamma 值。因此，无论如何它有助于使 SVM “高效”，但并非无助于找到最小的特征集（嗯，可能没有“绝对最小值”，因为准确度和特征的数量可能成正比）。

可能没有任何事实上的标准方法。或许在决定特征参数时，我们应该先从领域的角度进行接近，然后再用数学的方式进行调整。（例如，如果您要让 SVM 来识别恶意软件和良性应用程序，您应该考虑恶意软件的行为和趋势，并首先确定“参数候选”，然后应用数学方法，例如计算每个特征的平均值和偏差。）

【讨论】：