Bias vs. Variance(1)--diagnosing bias vs. variance

我们的函数是有high bias problem(underfitting problem)还是 high variance problem(overfitting problem)，区分它们很得要，因为有助于我们提升我们的预测准确性。

bias problem(underfitting problem)/variance problem(overfitting problem)

Training error & validation/test error 随着d的不同而变化的函数

从图中可以看出随着d的增大，trainning error越来越小。validation error刚开始很大，随着d的增大变小，当d=2时，此时validation error 最小，随后随着d的增大而增大。

如何判断是bias problem还是variance problem

当我们的J_train(θ)与J_cv(θ)都很大,即J_cv(θ)≈J_train(θ)，是bias problem(underfit)

当我们的J_cv(θ)>>J_train(θ)时，是variance problem(overfit)