【问题标题】：Choosing the regularization parameter选择正则化参数
【发布时间】：2014-01-05 02:35:53
【问题描述】：
应用正则化逻辑回归时：
我将数据分成训练集、交叉验证集和测试集。
我想应用正则化并正在选择正则化参数 lambda。
为此，我尝试了不同的 lambda 值，并将我的假设的参数 theta 拟合到训练集上。然后，我选择在验证集上给我最低成本函数的 lambda 值。
为此，我应该使用惩罚项还是不使用惩罚项来计算验证集的成本函数？
【问题讨论】：
标签：
machine-learning
logistic-regression
regularized
【解决方案1】：
这是混淆了两件事。您最小化成本函数（带有正则化项）以选择模型参数（对于给定的超参数，如 lambda）。但是随后这些参数可以让您对验证集中的点进行分类。并且您测量分类与基本事实的匹配程度。您选择给出最正确答案的 lambda。带有 lambda 的成本函数在那个阶段不起作用。
【解决方案2】：
你可以画出学习曲线，训练误差和验证误差都收敛到一个很小的值，并选择最小误差对应的参数作为正则化参数。
正则化参数的选择与代价函数值无关。