分类器超参数之间的相关性答案

【问题标题】：Correlation among Hyperparameters of Classifiers分类器超参数之间的相关性
【发布时间】：2018-02-25 06:42:54
【问题描述】：

我想知道两个不同分类器的超参数之间是否存在某种相关性。

例如：假设我们在具有最佳超参数的数据集上运行 LogisticRegression（通过查找 GridSearch）并希望在同一数据集上运行另一个分类器，例如 SVC（SVM 分类器），但除了使用GridSearch 查找所有超参数，我们可以修复超参数的一些值（或缩小范围以限制GridSearch 的搜索空间）吗？

作为实验，我使用scikit-learn 的分类器，如LogisticRegression、SVS、LinearSVC、SGDClassifier 和Perceptron 来分类一些众所周知的数据集。在某些情况下，我可以凭经验看到一些相关性，但并非总是针对所有数据集。

所以请帮我弄清楚这一点。

【问题讨论】：

标签： python machine-learning scikit-learn classification hyperparameters

【解决方案1】：

我认为您不能像这样将不同分类器的不同参数关联在一起。这主要是因为每个分类器的行为不同，因为它有自己的方式来根据自己的方程组调整数据。例如，以SVC 的情况为例，它具有两个不同的内核rbf 和sigmoid。在intercept parameter C 设置为 0.001，而 'sigmoidkernel over the same data may fit withC' 值为 0.00001 的情况下，rbf 可能完全适合数据。两个值也可以相等。但是，您永远不能肯定地说。当你这么说的时候：

在某些情况下，我能够根据经验看到一些相关性，但并非总是针对所有数据集。

这可能只是一个巧合。因为这一切都取决于和分类器。你不能全局应用它。相关并不总是等于因果

您可以访问this site 并亲自查看，尽管不同的回归函数具有相同的参数a，但它们的方程有很大的不同，因此在同一个数据集上，您可能会发现a 的值大不相同。

【讨论】：