使用 scikit-learn 组合多个 svm 分类器（或“任何 ML 分类器”的方法。“决策特征分类器”）答案

【问题标题】：Method to combine multiple svm classifiers (or "any ML classifier" by using scikit-learn. "decision-feature classifiers"使用 scikit-learn 组合多个 svm 分类器（或“任何 ML 分类器”的方法。“决策特征分类器”）
【发布时间】：2023-03-31 09:25:01
【问题描述】：

我从不同的传感器中提取多个特征向量，并分别使用 SVM 训练这些特征。我的问题是有什么方法可以组合这些分类器以获得更好的结果。提前致谢

【问题讨论】：

你的意思是你在单一特征上训练了一个分类器？

标签： python machine-learning computer-vision scikit-learn

【解决方案1】：

首先 - 训练单独模型的想法相当糟糕。除非你有很好的理由这样做（一些你不能忽视的外部限制），否则你不应该这样做。为什么？因为您正在有效地丢失信息，所以您无法对来自两个分类器的信号之间的复杂依赖关系进行建模。联合训练所有内容使统计方法能够选择何时使用哪些数据，例如，它可以建模 - 对于某些特定类型的数据，它将使用输入的一部分，而对于另一部分 - 其余部分.当您构建独立的分类器时 - 您会对整个过程产生偏见，因为这些分类器“不知道”剩余的分类器存在。

话虽如此，这里是假设您无法以某种方式学习联合模型的解决方案。在这种情况下（您的模型是一种将输入表示转换为决策函数的黑盒），基本思想是将它们简单地视为预处理器并在顶部安装新模型，仅此而已。换句话说，您将数据点 x 拆分为您之前构建的特征向量 x1、x2、...、xk 和 k 个不同的模型mi，因此您可以使用它们来构建预处理方法f(x) = [m1(x1), m2(x2), ..., mk(xk)]，这只是R^k 空间中的一个点，现在可以将其安装到新的分类器中以学习如何组合这些信息。问题在于，由于您的过程非常具体，您现在需要新的训练集来学习组合规则，因为使用用于构造mi 的相同数据很容易导致过度拟合。为了对抗人们有时会使用启发式方法 - 先验假设这些模型已经足够好并构建这些模型的集合，它们要么投票给类（例如根据它们的确定性加权），要么围绕它构建整个系统。我仍然认为你不应该首先走这条路，如果你必须 - 使用新数据学习组合规则，最后如果你不能做上述任何一项 - 用一些启发式集成技术解决.

【讨论】：