一个模型可以同时具有高偏差和高方差吗？过拟合和欠拟合？

Question

据我了解，在创建监督学习模型时，如果我们做出非常简单的假设（例如，如果我们的函数是线性的），我们的模型可能会有很大的偏差，这会导致算法错过我们的特征和目标输出之间的关系，从而导致在错误中。这是欠拟合的。

另一方面，如果我们的算法过于强大（许多多项式特征），它会对我们的训练集中导致过拟合的小波动非常敏感：对训练数据中的随机噪声进行建模，而不是对预期的输出进行建模.这是过拟合。

这对我来说很有意义，但我听说一个模型可以同时具有高方差和高偏差，我只是不明白这怎么可能。如果高偏差和高方差是欠拟合和过拟合的同义词，那么如何在同一个模型上同时存在过拟合和欠拟合？可能吗？怎么会发生？当它发生时会是什么样子？

Answer 1

想象一个回归问题。我定义了一个分类器，它输出在训练数据中观察到的目标变量的最大值，用于所有可能的输入。

此模型既有偏差（无论输入多么丰富或多变，都只能表示单个输出）并且具有高方差（数据集的最大值将在数据集之间表现出很大的可变性）。

您在某种程度上是对的，偏差意味着模型可能欠拟合，方差意味着模型容易过度拟合，但它们并不完全相同。

Answer 2

您能具体说明您是从哪里听说的吗？

欠拟合和过拟合本质上都是模型相对于训练集的特征。因此，根据我的理解，一个模型只能针对不同的训练集同时欠拟合和过拟合。