《统计学习方法》第一章习题

1. 说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。假设观测到伯努利模型n次独立的数据生成结果，其中k次的结果为1，这是可以用极大似然估计或贝叶斯估计来估计结果为1的概率。
   统计学分为两派：经典统计学派和贝叶斯统计学派。两者的不同主要是，经典统计学派认为模型已定，参数未知，参数是固定的，只是还不知道；贝叶斯统计学派是通过观察到的现象对概率分布中的主观认定不断进行修正。
   极大似然估计和贝叶斯估计中的模型都是条件概率分布：P（y=1|x）= θ
   策略：求导

   极大似然估计：
   

   贝叶斯估计：
   等看完第四章再来写

2. 通过经验风险最小化推导极大似然估计。证明模型是条件概率分布，当损失函数是对数损失函数时，经验风险最小化等价于极大似然估计。