CVX MATLAB 包的稀疏组套索答案

【问题标题】：Sparse Group lasso by CVX MATLAB packageCVX MATLAB 包的稀疏组套索
【发布时间】：2015-05-29 15:38:24
【问题描述】：

有谁知道如何在 MATLAB 中使用 CVX、凸优化包实现稀疏组套索？

我不知道如何将公式描述为 CVX 原型。

【问题讨论】：

标签： matlab cvx

【解决方案1】：

我发现了一些东西here

我决定分享它！

【讨论】：

【解决方案2】：

您必须使用 CVX 吗？ Inria 有一个名为Spams 的稀疏建模包，用 Matlab、R 和 Python 编写。如果您想要一个组套索正则化器，请查看 mexproximalFlat 下 proximal toolbox 中的文档。也有一些例子。我经常使用 python spams 包。

【讨论】：

【解决方案3】：

（更正：两者都支持不同的组大小。来自 nfs 的示例通过使用额外的约束来支持不同的组大小。）

nfs 给出的示例请参考此网页： http://ask.cvxr.com/t/formulating-sparse-group-lasso-in-cvx/793/4
然而，这个例子似乎不允许不同的组大小。你可以参考下面的例子（使用的公式是Simon、Noah 和 Robert Tibshirani 中的 Eq.3。“标准化和组套索惩罚。” Statistica Sinica 22.3 (2012): 983.）

% Refer to Eq. (3) in /Simon, Noah, and Robert Tibshirani. 
%    "Standardization and the group lasso penalty." 
%    Statistica Sinica 22.3 (2012): 983./

% Note that group LASSO allows different group sizes
N = 64; m = 3;   
rho = [2; 4; 6];  % group sizes
n = sum(rho); % num of total parameters
X = rand(N,n);   % X = [X1, X2, ..., X_m]
y = rand(N,1);
lambda = 1;

IndexM = [1, 2; 3, 6; 7, 12];  % indexes of elements in each group
cvx_begin
    % w = [beta1'; beta2'; ...; beta_m']
    variable w(n)    
    expression ws(m)
    for i = 1:m
        ws(i) = norm(w(IndexM(i,1):IndexM(i,2)),2);
    end

    minimize( norm(y-X*w, 2) +  lambda*(sqrt(rho)' * ws) )
cvx_end

% get beta_i, i.e. i-th beta corresponding to i-th group
% e.g. 
i = 2;
beta_i = w(IndexM(i,1):IndexM(i,2));

【讨论】：

【解决方案4】：

我相信 CVX 无法轻松处理 SGL 中的组范数，除非您对每个数据集的组范数进行硬编码。如果你使用的是 Matlab，你可以使用SLEP toolbox。

【讨论】：