产品+工程优化+策略算法 一专多能
最优化：凸优化、数值优化（偏工程）
1.1、无约束优化问题：
目标函数不可导时：下降单纯型法
目标函数可求导：梯度下降法
梯度下降：
1.随机梯度下降（比较好用）
2.批处理模式（一般不work）
拟牛顿法：BFGS 、L-BFGS（解决Hession阵过大的问题）
拟牛顿法：先定方向，后定步长
Trust-region方法：先定步长，后定方向
1.2、带约束优化
拉格朗日法
2.1信息检索
倒排索引
3.1统计机器学习（干什么用呢）
视频：方便抓住重点
贝叶斯学习：
指数族分布（PRML一书）：最大似然估计
指数族贝叶斯学习
贝叶斯这一套太形式主义（深度学习实事求是）
贝叶斯这一套方式所追求的目的，主要是期望在数学上可解
深度学习：
机器学习关键在于优化
大量数据+模型 才会work
设计结构：算法专家
设计feature：领域专家
CNN、RNN、LSTM、GAN
也许都用不上，参考的是一些思想
RTB、SSP