统计学习（1）

概率

先验概率：根据以前的经验，提前知道的事件概率;如：今天下雨的概率;
后验概率：由果及因，后知后觉，概率时间的结果推测原因起作用的概率;如，今天下雨，求有乌云的概率;
似然概率：由因及果，似然likehood自然的推测，都是知道原因，求原因造成结果发生的概率。如：今天阴天，求下雨的概率。

模型学习

1. 适用条件是什么？
2. 解决什么问题？
3. 对应的统计学习三要素？

统计学习的三要素：
假设空间：包含所有可能的条件概率分布或决策函数。
策略：按照什么样的准则学习或选择最优模型。（损失函数）
求解算法：使用什么样的计算方法求解最优模型。（求解参数）

在监督学习中，概率模型是生成模型;非概率模型是判别模型。

监督学习的实现步骤

1. 得到一个有限数据集和;
2. 确定模型的的假设空间，即所有的备选模型;
3. 确定模型选择的准则，即学习策略;
4. 实现求解最优化模型的算法;
5. 通过学习方法选择最优模型;
6. 利用学习的最优模型对新数据进行预测或分析。

训练集：$T=\{(x_1,y_1), (x_2,y_2),\ldots,(x_n,y_n)\}$T={(x1​,y1​),(x2​,y2​),…,(xn​,yn​)}
实例$x$x的特征向量：$x=(x^{(1)},x^{(2)},\ldots,x^{(n)})^T$x=(x(1),x(2),…,x(n))T
模型：
7. 决策函数： $Y=f(x)$Y=f(x)
预测形式： $y=f(x)$y=f(x)
8. 条件概率分布：$P(Y|X)$P(Y∣X)
预测形式：$argmax(P(y|x))$argmax(P(y∣x))