matlab中使用L1正则化的高效逻辑回归答案

【问题标题】：Efficient logistic regression with L1 regularization in matlabmatlab中使用L1正则化的高效逻辑回归
【发布时间】：2014-03-02 13:32:27
【问题描述】：

我正在 matlab 中寻找高效的逻辑回归实现。我在matlab中使用了lassoglm。但是当我尝试使用 10000 个具有 1000 个特征和正则化参数为 0.005 到 1 的示例时，它真的很慢。我使用两次交叉验证。从 lambda 0.05 开始，它非常慢并且需要很多时间。

有没有更好的方法？

【问题讨论】：

标签： matlab logistic-regression lasso-regression

【解决方案1】：

您可能想查看LIBLINEAR。它是一个免费的、最先进的线性大规模学习库。它有一个MATLAB接口。

LIBLINEAR 具有多种线性方法，包括：

 for multi-class classification
     0 -- L2-regularized logistic regression (primal)
     1 -- L2-regularized L2-loss support vector classification (dual)
     2 -- L2-regularized L2-loss support vector classification (primal)
     3 -- L2-regularized L1-loss support vector classification (dual)
     4 -- support vector classification by Crammer and Singer
     5 -- L1-regularized L2-loss support vector classification
     6 -- L1-regularized logistic regression
     7 -- L2-regularized logistic regression (dual)
   for regression
    11 -- L2-regularized L2-loss support vector regression (primal)
    12 -- L2-regularized L2-loss support vector regression (dual)
    13 -- L2-regularized L1-loss support vector regression (dual)

【讨论】：

感谢您的信息。我只是想确认 L1 正则化逻辑回归的 Liblinear 不会对数据本身进行标准化。我们必须提供标准化的训练实例。我也可以看到这个 col 选项。我的训练数据集将每个实例作为一行。所以我不需要为这个 col 参数做任何事情，对吧？我只是没明白 col 在这里是什么意思
@user34790 你是对的，liblinear 没有隐式规范化。我不知道 col 选项，因为它似乎在命令行界面中不存在（我自己从未在 matlab 中使用过 liblinear）。