引言 学习经验（数据），产生模型，进行判断
机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。
数据集 - 示例（样本） - 属性 - 特征 - 属性空间（样本空间（输入空间））- 特征向量
训练数据 - 训练集 - 训练样本
预测 - 标记 - 样例 - 标记空间（输出空间）
**分类 - 回归 - 二分类（正类、反类） - 多分类
测试 - 测试样本（测试示例（测试例））
聚类 - 簇
监督学习（有导师学习） | 无监督学习（无导师学习）
泛化 - 强泛化 - 分布 - 独立同分布
假设空间
归纳
从特殊到一般的“泛化”过程， 即从具体的事实归结出一般性规律。
演绎
从一般到特殊的“特化”过程， 即从基础原理推演出具体状况。
归纳学习（概念学习（概念形成））
记住训练样本， 就是所谓的“机械学习”，或称“死记硬背式学习”。
利用一定的策略对假设空间进行搜索。
版本空间
归纳偏好
需要对假设空间进行搜索学习操作的时候，建立一定的偏好（特征选取偏好），这样的学习还有意义。
即， 建立学习的一定的“价值观”或启发式学习。
偏好的选择， 大多数时候决定了学习算法的性能。