机器学习：从二项logistic distribution 到 softmax loss function

一、binomial logistic distribution

x是输入的特征向量值，w是权值，w∗x是向量的内积，Y∈{0,1}是输出，利用上式求出两个概率值，将x划分为值大的那一类。

1. 对数几率（log odds）
   一个事件的几率（odds）是指该事件发生的概率p与不发生的概率（1−p）比值，即p1−p。那么对数几率为：
   logit(p)=p1−p
   
   对于logistic回归：
   

2. 模型参数估计
   logistic回归，给定训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}利用极大似然估计法估计模型参数w :
   

   二、多项logistic回归

   上面介绍用于二分类问题，推广到多分类问题有：
   

三、softmax loss function

四、Multiclass SVM loss

五、参考文献

1. 《统计学习方法》