什么是机器学习
利用计算机从历史数据中找出规律，并把这些规律用到未来不确定场景的决策
- 传统的数据分析行业依赖于数据分析师本身的经验和知识水平，通过机器学习则可以摆脱对数据分析师的依赖，由机器代替人工进行分析。
机器学习发展的原动力
- 从历史数据中找到规律，把这些规律用到未来，自动做出决定
- 用数据代替专家
- 经济驱动，数据变现
机器学习的模式
-
离线机器学习
利用历史数据建立模型。例如每天夜里利用昨天的销售数据建立模型给明天使用。
-
在线机器学习
利用实时数据，快速建立模型并应用。例如电商实时推荐系统。
机器学习的典型应用
关联规则
购物篮分析，把常常一起出现在消费者购买清单上的物品作关联分析，发现购买规律。进而调整销售规则，比如捆绑销售。
聚类规则
将用户细分，进而达到精准营销
朴素贝叶斯
过滤垃圾邮件
决策树
信用卡欺诈
CTR预估
互联网广告
协同过滤
推荐系统
常用算法和分类
算法分类（1）
- 有监督学习
训练数据已经被提前打好标签，典型的如分类算法和回归算法
- 无监督学习
由算法自己完成数据聚类，典型算法如聚类算法
- 半监督学习
强化学习，如同小孩子学走路，练的越多走得越稳
算法分类2
- 分类与回归
- 聚类
- 标注
算法分类3
-
生成模型
根据概率判断，例如该样本60%可能性是A类，比较模棱两可。
-
判别模型
非1即2，例如该样本是A类，比较武断。
数据分析和机器学习
| - | 数据分析 | 机器学习 |
|---|---|---|
| 数据特点 | 交易数据 | 行为数据 |
| 数据量级 | 少量 | 海量 |
| 分析方式 | 采样分析 | 全量分析 |
| 解决问题 | 报告过去的事情 | 预测未来的事情 |
| 分析方法 | 用户驱动，交互式分析 | 数据驱动，自动进行知识发现 |
| 参与者 | 分析师 | 数据+算法 |
| 结果 | 分析师能力决定结果 | 数据质量决定结果 |
| 目标用户 | 公司高层 | 个体 |
机器学习解决问题的关键
训练模型
定义模型
定义损失函数
优化算法
模型评估
- 交叉验证
- 效果评估