模型选择，欠拟合，过拟合

• 训练误差：在训练集上的表现
• 泛化误差：在任意一个数据样本上表现的误差
• 计算误差：损失函数
• 在机器学习中，假设每个样本都是独立同分布与整体的，于是它训练误差期望 = 泛化误差
• 一般情况下：由训练数据集学到的训练参数 使得 模型在训练数据集上的表现优于或等于 测试数据集上的表现
• 模型选择：可以选择完全不同的网络模型，也可以是不同的超参数（例如：多层感知机的隐藏层个数等等）
• 验证数据集：在实际应用中，验证数据集与测试数据集界限模糊
• K折交叉验证：训练数据太少了，于是将所有样本分为k份，做k次模型训练，每次选择不同的一份做测试集，其他做训练集，loss取平均
• 欠拟合：模型无法得到较低的训练误差
• 过拟合：训练误差远低于它在测试数据上的误差
• 欠拟合，过拟合的原因很多，其中最重要的是：模型复杂度，训练集大小（当样本数过少，过拟合更容易发生）