安装 Keras L1 模型

Question

我有一个简单的 keras 模型（普通 Lasso 线性模型），其中输入被移动到单个“神经元”Dense(1, kernel_regularizer=l1(fdr))(input_layer)，但该模型的权重从未完全设置为零。我觉得这很有趣，因为 scikit-learn 的 Lasso 可以将系数精确设置为零。

我使用了Adam 和 tensorflow 的FtrlOptimizer 进行优化，他们也有同样的问题。

我已经检查过这个question 但这并不能解释为什么 sklearn 可以将值设置为零，更不用说当 Keras 中的相同模型需要 2.4 秒时，它们的模型如何在我的服务器上以约 500 毫秒收敛提前终止。

这都是因为使用了优化器还是我遗漏了什么？

Answer 1

这都是因为使用了优化器还是我错过了 什么？

确实如此。如果您从 scikit-learn（它从 ElasticNet 类中调用）拟合 Lasso 时查看实际的 function that gets called，您会发现它使用了不同的优化算法。

scikit-learn 的ElasticNetstarts with coefficient vector equal to zero 中的坐标下降，然后考虑一次添加一个非零条目（这与线性回归的逐步特征选择有关）。

用于优化 L1 正则化回归的其他方法也以这种方式工作：例如 LARS（最小角度回归）也可以从 scikit-learn 中使用。

与此相反，paper on FTRL 算法说

不幸的是，OGD 在生产方面并不是特别有效 稀疏模型。实际上，只需添加一个次梯度 损失梯度的 L1 惩罚 (Ow`t(w)) 基本上永远不会产生精确的系数 零。