【问题标题】:Vowpal Wabbit Multiclass Linear ClassificationVowpal Wabbit 多类线性分类
【发布时间】:2016-09-21 03:19:40
【问题描述】:

是否可以使用 Vowpal Wabbit 库训练多类(多项式)线性分类模型?

我尝试将 --oaa 与 --loss_function 平方一起使用,但似乎 --oaa 的默认损失函数是逻辑。

我使用rcv1.multiclass 作为输入。

一个解决方案:

我可以创建多个版本的数据如下:

版本 i:将除 I 类之外的所有标签设为零

然后我可以为每个版本的数据训练多个二进制分类。最后,我可以将测试数据提供给所有分类器并应用 argmax。有没有更好的(自动化)解决方案?

【问题讨论】:

标签: machine-learning classification vowpalwabbit


【解决方案1】:

当你使用vw --oaa N 时,你实际上会得到一个linear N 类分类器。要获得非线性分类器,您需要添加二次/多项式特征(-q--cubic--interactions)或内核(--ksvm)或隐藏层(--nn)或任何其他非线性缩减(--lrq--stage_poly--autolink)。

损失函数的选择不影响分类器是否是线性的。默认值为--loss_function=squared。对于分类,我建议使用--loss_function=logistic(如果您想预测每个类别的概率,可能使用--probabilities)或--loss_function=hinge(如果您只关心顶级类别)。

然后我可以为每个版本的数据训练多个二进制分类。最后,我可以将测试数据提供给所有分类器并应用 argmax。有没有更好的(自动化)解决方案?

是的,这正是 --oaa 所做的(但更有效)。

【讨论】:

    猜你喜欢
    • 2016-01-05
    • 2017-10-07
    • 2014-08-27
    • 2014-03-12
    • 2015-12-10
    • 2015-04-22
    • 2016-02-08
    • 2018-01-20
    • 2015-02-16
    相关资源
    最近更新 更多