第八节课的总结
成本矩阵cost/error/loss matrix
VC theory,也就是VC的理论依然可以直接使用,所以只需要证明Ein(h)很小就可以得到Eout(h)很小的结论。需要注意之前的Ein(g)没有权重的加权,这个是区别。
1.PLA不需要做任何的修正,因为满足完全线性可分那么Ein一定等于0,也是0,所以PLA不用考虑weighted权重。
2.weighted pocket算法哪些地方进行修正了呢?之前的pocket是用Ein(g)来判断找到的w(t+1)和之前的w哪个更优,现在是使用来比较哪一个更值得收进口袋里。
pocket算法基本的guarantee:noisy很小很小。
假设x2=-1上面犯了错,那么右边的equivalent problem的x2会付出1000倍的错误成本。但是上面的复制等于-1的1000次并不会真的去做,只是“virtual copying”想法上的清楚他要做复制操作。
PLA上面所说的复制1000次,其实实际操作中的含义是,会以1000倍的几率去检查y=-1的点,检查y=1会少很多很多。
FUN TIME
例题是:当某一个假设h(x)的预测结果总是“+1”的情况下,让你求是多少?N=10+999990=1000000
=
=1/1000000*(0+1000*10)=0.01
因为每一次的预测都是“+1”,所以当yn=+1时没有任何的错误,所以error=0
而当yn=-1的时候预测结果还是“+1”,有10个点预测错误了,所以当yn=-1时就等于1000(权重)*10(犯错的个数)