看了好几遍也没看懂DQN
neural network模拟Q-value function可以只将state作为输入，输出为各个Q(state,action)的值。并行计算各个动作，高效。
流程实在看不懂。。。
-----------------------------------------------------------------------------------------------------------------------
policy gradient的更新过程跳过，李宏毅那篇有讲
最简单的base line就是将各个trajectory的总reward平均化
base line可以用Q value function 减去 value function！这不就是一个动作的价值吗！
但是我们不知道Q和V，怎么办，学啊！
Actor-Critic
----------------------------------------------------------------------------------------------
Recurrent Attention Model 可用于fine-grained分类，节约计算量
--------------------------------------------------------------------------------------------------------------------
视频总算是看完了，很多地方还是不太理解，做作业的过程中再巩固吧。