Chapter 4 Dynamic Programming

本笔记参考《Reinforcement Learning: An Introduction》和
David Silver的公开课及其ppt

David Silver的课程在Tabular Soluction上介绍的比较多。可以配合David Silver的课程来理解《Reinforcement Learning: An Introduction》这本书的内容

---

DP指的是一组算法，可以用来计算最佳策略，给定一个完美的model作为马尔科夫决策过程（MDP）[这是必须的]。当然之后介绍的算法不是用DP解的，它只是给后面要介绍的方法基础理论

一定要注意DP解问题的必要条件。我们假设environment是finite MDP。其中我们假设它的state,action以及reward sets,S,A,and,R$S,A,\text{and,}R$是有限的，而且它的动态性是通过一系列的概率p(s′,r|s,a)$p(s^{\mathrm{\prime }},r|s,a)$给出来的

4.2 Policy Evaluation (Prediction)

Policy evaluation Estimate vπ$v_{\pi }$
Iterative policy evaluation

Policy Evaluation就是对于任意policy π$\pi$ ，计算出state-value function vπ$v_{\pi }$。这也被看成prediction problem

4.2 Policy Improvement

Policy improvement Generate π′≥π${\pi }^{\mathrm{\prime }}\ge \pi$
Greedy policy improvement

policy improvement theorem
假设有 π′${\pi }^{\mathrm{\prime }}$ 比 π$\pi$ 更好

qπ(s,π′(s))≥vπ(s)vπ′(s)≥vπ(s)$$\begin{gathered} q_{\pi }(s,{\pi }^{\mathrm{\prime }}(s))\ge v_{\pi }(s) \\ {v}_{{\pi }^{\mathrm{\prime }}}(s)\ge v_{\pi }(s) \end{gathered}$$

证明：

vπ(s)⋮≤qπ(s,π′(s))=E[Rt+1+γvπ(St+1)|St=s,At=π′(s)]=Eπ′[Rt+1+γvπ(St+1)|St=s]≤Eπ′[Rt+1+γqπ(St+1,π′(St+1))|St=s]=Eπ′[Rt+1+γEπ′[Rt+2+γvπ(St+2)|St+1]|St=s]=Eπ′[Rt+1+γRt+2+γ2vπ(St+2)|St=s]≤Eπ′[Rt+1+γRt+2+γ2Rt+3+γ3vπ(St+3)|St=s]≤Eπ′[Rt+1+γRt+2+γ2Rt+3+γ3Rt+4+⋯|St=s]=vπ′(s).$$\begin{array}{rl}{v}_{\pi }(s)& \le q_{\pi }(s,{\pi }^{\mathrm{\prime }}(s))\\ & =\mathbb{E}[R_{t+1}+\gamma v_{\pi }(S_{t+1})|S_t=s,A_t={\pi }^{\mathrm{\prime }}(s)]\\ & ={\mathbb{E}}_{{\pi }^{\mathrm{\prime }}}[R_{t+1}+\gamma v_{\pi }(S_{t+1})|S_t=s]\\ & \le {\mathbb{E}}_{{\pi }^{\mathrm{\prime }}}[R_{t+1}+\gamma q_{\pi }(S_{t+1},{\pi }^{\mathrm{\prime }}(S_{t+1}))|S_t=s]\\ & ={\mathbb{E}}_{{\pi }^{\mathrm{\prime }}}[R_{t+1}+\gamma {\mathbb{E}}_{{\pi }^{\mathrm{\prime }}}[R_{t+2}+\gamma v_{\pi }(S_{t+2})|S_{t+1}]|S_t=s]\\ & ={\mathbb{E}}_{{\pi }^{\mathrm{\prime }}}[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{v}_{\pi }(S_{t+2})|S_t=s]\\ & \le {\mathbb{E}}_{{\pi }^{\mathrm{\prime }}}[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+{\gamma }^3{v}_{\pi }(S_{t+3})|S_t=s]\\ ⋮\\ & \le {\mathbb{E}}_{{\pi }^{\mathrm{\prime }}}[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+{\gamma }^3{R}_{t+4}+\cdots |S_t=s]\\ & =v_{{\pi }^{\mathrm{\prime }}}(s).\end{array}$$

很自然的就会想到使用greedy policy在每个状态s根据qπ(s,a)$q_{\pi }(s,a)$选择最好的a，从而得到新的policy π′${\pi }^{\mathrm{\prime }}$

π′(s)≐argmaxaqπ(s,a)=argmaxaE[Rt+1+γvπ(St+1)|St=s,At=a]=argmaxa∑s′,rp(s′,r|s,a)[r+γvπ(s′)]$$\begin{array}{rl}{\pi }^{\mathrm{\prime }}(s)& \doteq \underset{a}{argmax}{q}_{\pi }(s,a)\\ & =\underset{a}{argmax}\mathbb{E}[R_{t+1}+\gamma v_{\pi }(S_{t+1})|S_t=s,A_t=a]\\ & =\underset{a}{argmax}\sum _{s^{\mathrm{\prime }},r}p(s^{\mathrm{\prime }},r|s,a)[r+\gamma v_{\pi }(s^{\mathrm{\prime }})]\end{array}$$

4.3 Policy Iteration

把Policy Evaluation (Prediction)和Policy Improvement两个过程迭代进行，最终获得收敛的最佳policy

π0→Evπ0→Iπ1→Evπ1→Iπ2→E⋯π∗→Ev∗$${\pi }_0\stackrel{E}{\to }{v}_{{\pi }_0}\stackrel{I}{\to }{\pi }_1\stackrel{E}{\to }{v}_{{\pi }_1}\stackrel{I}{\to }{\pi }_2\stackrel{E}{\to }\cdots {\pi }_{\ast }\stackrel{E}{\to }{v}_{\ast }$$

注意上图的迭代是Policy Evaluation和Policy Improvement交替进行的

这个过程被证明是收敛的，最后一定可以收敛到最佳的policy

4.4 Value Iteration

Value Iteration不像policy iteration，没有显式的 policy evaluation。policy iteration的一个缺点是每次迭代都要进行完整的policy evaluation，这非常的耗时。

policy evaluation的步骤可以被截取为少许的几步，而且还保证policy iteration的收敛。一个特殊的例子就是在仅进行一个sweep后停止。

在每个sweep中，执行一个sweep的policy evaluation和一个sweep的policy improvement
注意与policy iteration的区别p(s′,r|s,π(s))$p(s^{\mathrm{\prime }},r|s,\pi (s))$与p(s′,r|s,a)$p(s^{\mathrm{\prime }},r|s,a)$

Problem	Bellman Equation	Algorithm
Prediction	Bellman Expectation Equation	Iterative Policy Evaluation
Control	Bellman Expectation Equation + Greedy Policy Improvement	Iterative Policy Evaluation
Control	Bellman Optimality Equation	Value Iteration

4.6 Generalized Policy Iteration (GPI)

上面说的迭代就是强化学习的迭代框架