【问题标题】:Vowpal Wabbit Multiclass Linear ClassificationVowpal Wabbit 多类线性分类
【发布时间】:2016-09-21 03:19:40
【问题描述】:
是否可以使用 Vowpal Wabbit 库训练多类(多项式)线性分类模型?
我尝试将 --oaa 与 --loss_function 平方一起使用,但似乎 --oaa 的默认损失函数是逻辑。
我使用rcv1.multiclass 作为输入。
一个解决方案:
我可以创建多个版本的数据如下:
版本 i:将除 I 类之外的所有标签设为零
然后我可以为每个版本的数据训练多个二进制分类。最后,我可以将测试数据提供给所有分类器并应用 argmax。有没有更好的(自动化)解决方案?
【问题讨论】:
标签:
machine-learning
classification
vowpalwabbit
【解决方案1】:
当你使用vw --oaa N 时,你实际上会得到一个linear N 类分类器。要获得非线性分类器,您需要添加二次/多项式特征(-q、--cubic、--interactions)或内核(--ksvm)或隐藏层(--nn)或任何其他非线性缩减(--lrq、--stage_poly、--autolink)。
损失函数的选择不影响分类器是否是线性的。默认值为--loss_function=squared。对于分类,我建议使用--loss_function=logistic(如果您想预测每个类别的概率,可能使用--probabilities)或--loss_function=hinge(如果您只关心顶级类别)。
然后我可以为每个版本的数据训练多个二进制分类。最后,我可以将测试数据提供给所有分类器并应用 argmax。有没有更好的(自动化)解决方案?
是的,这正是 --oaa 所做的(但更有效)。